Roblox, ROOST Model Topluluğuna Açık Kaynaklı Güvenlik Modelleri Getiriyor

Roblox, Robust Open Online Safety Tools (ROOST) Model Topluluğu'na üç açık kaynaklı güvenlik modeli katkıda bulunuyor. Bunlar arasında açık kaynaklı PII Sınıflandırıcımız, Roblox Sentinel ve en yeni ses güvenliği sınıflandırıcımızın güncellemeleri yer alıyor. Ayrıca, diğer şirketlerin kendi sınıflandırıcılarını karşılaştırmak için kullanabilecekleri yeni bir değerlendirme veri setini de açık kaynak olarak paylaşıyoruz. Bu modellerin sürümleri halihazırda Roblox'ta çalışıyor; kişisel bilgi isteme veya paylaşma girişimlerini tespit ediyor, çocukların tehlikeye atılmasının erken belirtilerini işaretliyor ve sesli sohbeti gerçek zamanlı olarak denetliyor. 

2025 yılının başlarında Google, OpenAI ve diğer şirketlerle birlikte ROOST’a kurucu üye olarak katıldık. Bu modelleri paylaşmak, diğer platformlara kendi denetim araçlarını eğitmek ve ayarlamak için sağlam bir başlangıç noktası sunuyor. Buna karşılık, diğer şirketlerin çalışmalarını paylaşırken elde ettikleri bilgilerden ve geri bildirimlerden faydalanmayı umuyoruz.

Kişisel Bilgilerin Gizliliğini Korumak

Roblox PII Sınıflandırıcısı, oyuncuların kişisel olarak tanımlanabilir bilgileri (PII) paylaşma veya talep etme ya da oyuncuları korumanın o kadar sağlam olmayabileceği diğer platformlara yönlendirme girişimlerini tespit etmek üzere eğitilmiştir. Buna, yazım hataları, şifreli kelimeler veya diğer platformlara yapılan belirsiz atıflar yoluyla tespit sistemini atlatma çabaları da dahildir. Tam kelime eşleşmelerini aramak yerine, konuşma bağlamını anlamak üzere tasarlanmıştır; bu sayede standart filtrelerin gözden kaçırabileceği şifreli talepleri yakalamasına yardımcı olur. 

2.0 sürümü, birkaç önemli güncelleme getiriyor: Eğitim ve değerlendirme verileri artık, belirsiz görünebilecek izole mesajlar yerine, çevredeki konuşma bağlamını da içeriyor. Mesajları daha geniş bir konuşma bağlamında değerlendirmek, Kişisel Tanımlanabilir Bilgileri paylaşma veya isteme niyetini tespit etmeye yardımcı olur. LLM tarafından üretilen, daha karmaşık atlatma senaryoları ve nadir çok dilli durumlara ilişkin sentetik örnekler kümesi üzerinde yapılan eğitim, desteklediğimiz dil sayısını 17’den 189’a çıkarmamıza yardımcı oldu. Ayrıca, LLM’leri bağlam alma özelliği ile birleştirerek, etiketlenmiş verilerden oluşan özenle seçilmiş bir kümeden ilgili örnekleri aldık. Günümüzde, 2.0 sürümünün doğruluk ve geri çağırma oranları, geleneksel moderasyon tekniklerine kıyasla daha iyi sonuçlar vermektedir; özellikle de daha sofistike atlatma girişimlerinde. Örneğin, bir kullanıcıya başka bir platformdaki bir sunucu hakkında soru sorulursa, cevabını belirsiz hale getirebilir:

Kullanıcı: “it’s dscrd (nokta) gg (çizgi) rblx-vibe-99,” 

Kullanıcı: “Şimdi (nokta)’yı . ile, (çizgi)’yi / ile değiştir.” 2.0

sürümü, bu mesajların bağlamını bir bütün olarak anlayabilir ve bir oyuncuyu Roblox’tan uzaklaştırabilecek kişisel bilgilerin paylaşılmasını engelleyebilir. Otomatikleştirilmiş kırmızı takım çalışmaları ve hedefli sentetik veri üretimi sayesinde model, doğal bir kullanıcı deneyimini korurken, incelikli PII paylaşımlarını sıradan sohbetlerden daha da iyi ayırt edebiliyor. Bu çalışma, F1 puanımızı 63,41’den 90,52’ye yükseltti; bu, hem şirket içi hem de açık kaynaklı karşılaştırma testlerinde en yüksek puanları alan 1.0 sürümüne kıyasla önemli bir gelişmedir.

Bir Değerlendirme Veri Kümesinin Paylaşımı

Roblox PII Sınıflandırıcı Karşılaştırma Testi, PII filtrelerinden kaçınmak için sıklıkla kullanılan tekniklere dayalı, İngilizce çok kullanıcılı sohbetlerden oluşan sentetik örnekler içeren, PII sınıflandırıcıları için yeni bir değerlendirme veri setidir. Örnekler, oyuncuların PII talep ettiği, paylaştığı veya diğer oyuncuları platformdan uzaklaştırmaya çalıştığı durumların LLM tarafından oluşturulan simülasyonlarından oluşur. Kullanılan stratejiler arasında fonetik baypaslar, karakter ve görsel ikame, şifreli dil ve konuşma turları arasında bölünmüş bilgiler yer almaktadır. Ayrıca, zararsız olmasına rağmen PII paylaşımı veya talebi içeren sohbetlere benzeyen sohbetler gibi zor negatif örnekler üzerinde de eğitim yaptık.

Bu veri kümesi, platformların gördüklerinin sadece küçük bir alt kümesi olan adlandırılmış varlık çıkarımına odaklanan mevcut veri kümelerinin aksine, gerçekçi çok kullanıcılı çevrimiçi sohbetleri yansıtmaktadır. Uygulamada, Kişisel Tanımlanabilir Bilgileri (PII) talep etme girişimleri genellikle tespit edilebilir herhangi bir Kişisel Tanımlanabilir Bilgi dizesinden çok önce ortaya çıkar; örneğin, bir oyuncunun diğerine “hayaletli uygulamada @'ın ne?” diye sorması gibi. Bu karşılaştırma ölçütünü paylaşıyoruz ki, topluluk Roblox’un Kişisel Tanımlanabilir Bilgi Sınıflandırıcısını test edip geliştirebilsin ve hepimiz daha da güçlü çevrimiçi korumalara doğru ilerleyebilelim.

Riski Mümkün Olduğunca Erken Tespit Etmek

Roblox Sentinel, mesajlar diğer sistemlerin algılayabileceği kadar açık hale gelmeden çok önce, çocukların maruz kalabileceği potansiyel tehlikelerin erken sinyallerini tespit etmek üzere tasarlanmıştır. Karşılaştırmalı öğrenme üzerine kurulu olan Sentinel, hem zararsız hem de zamanla zararlı hale gelebilecek konuşma kalıpları üzerinde eğitilmiştir. Yeni konuşmaları bu kalıplarla karşılaştırarak, durumun daha da kötüye gitmeden önce incelenmesi gereken ince uyarı işaretlerini belirler. Sentinel, insan denetçilerin dikkat gerektirme olasılığı en yüksek sohbetlere öncelik vermesini sağlar; böylece kötü niyetli kullanıcıların hesaplarına hızlı bir şekilde müdahale edebilir ve sorunlu kullanıcıları ilgili makamlara bildirebilirler. 7 Ağustos 2026 tarihinde sona eren 12 aylık dönemde, tespit ettiğimiz vakaların yaklaşık %70’i Sentinel’in erken tespitine dayanıyordu ve bu vakalar genellikle diğer tespit yöntemlerinden çok daha erken yakalandı.

Bugün, puanları birleştirmenin daha fazla yolunu sunarak doğruluğu artıran 2. sürümü yayınlıyoruz; birleştirme işlevlerinin sayısı ikiden altıya çıkarıldı ve her biri farklı bir veri türüne uygun hale getirildi. ROOST topluluğundan gelen geri bildirimleri de dikkate alan 2. sürüm, belirli bir kullanım durumuna en uygun işlevin hangisi olduğunu değerlendirmek için yeni yöntemler ekliyor; buna, bir kaynağın neden o şekilde puanlandığının açıklamaları da dahildir. Ayrıca, her ayar için değerlendirme verilerini yeniden hesaplama ihtiyacını ortadan kaldıran sürüm 2, bu seçenekler arasında arama yapmayı pratik hale getiriyor. Bir örnekte, sürüm 2, 324 konfigürasyonu üç dakikadan daha kısa bir sürede tarayabildi; bu tarama işlemi daha önce neredeyse bir saat sürerdi. Ayrıca, ROC-AUC değerini (sıralama kalitesinin standart bir ölçüsü) varsayılan ayarlarda 0,894'ten, belirlenen en iyi konfigürasyonda 0,996'ya yükseltti. Bu optimizasyonlar, bu yeni açık kaynaklı aracın belirli kullanım durumları için test edilmesini ve ayarlanmasını kolaylaştırmalıdır.

Ses Güvenliğini Gerçek Zamanlı Olarak Denetleme

Sesli güvenlik sınıflandırıcımız, uygunsuz konuşmaları gerçek zamanlı olarak algılayıp işaretlemek üzere tasarlanmıştır. Bir oyuncu kurallarımızdan birini ihlal ettiğinde, kendisine bir uyarı içeren ve hangi politikayı ihlal ettiğine dair bilgi veren bir bildirim gösterilir. Kuralları ihlal etmeye devam ederse, sohbet erişimi en fazla beş dakika süreyle geçici olarak askıya alınır. Oyuncular, daha ciddi ihlallerde veya diğer oyuncular tarafından hakkında şikayet bildirimi yapıldığında daha ağır sonuçlarla karşı karşıya kalabilir. Sınıflandırıcımız, 2024 yılında açık kaynak olarak yayınlandığından bu yana 72.000'den fazla kez indirilmiştir. 

Kısa süre önce yayınlanan 3. sürüm, toplam 30 dil ve sekiz ihlal kategorisinde sesli sohbeti denetlerken daha da yüksek geri çağırma oranı ve doğruluk sunar. 30 dilin tamamında, %1’lik katı bir yanlış pozitif oranında %61 geri çağırma oranına ulaşır. Ayrıca yerleşik dil algılama özelliği de eklenmiştir. Bu gelişmeler, desteklenen 30 dilin tamamında daha fazla etiketlenmiş eğitim verisiyle sağlanmıştır; hacim açısından makine etiketlemesi, kalite açısından ise insan etiketlemesi kullanılmıştır. Altta yatan modelin parametre sayısı 94,6 milyondan 320 milyona çıkmasına rağmen, gerçek zamanlı algılama için yeterince hızlı kalmasını sağlamak amacıyla model damıtma tekniğini kullandık. 

Güvenlik ortak bir sorumluluktur; hiçbir şirket bunu tek başına çözemez. ROOST’a katkıda bulunma amacımız, diğer şirketlerin kendi güvenlik sınıflandırıcılarını geliştirmelerine yardımcı olmaktır. Otomatik algılamayı birlikte ilerletirken, ROOST topluluğuyla paylaşmaya ve ondan öğrenmeye devam edeceğiz.