Roblox Hadirkan Model Keamanan Sumber Terbuka ke Komunitas Model ROOST

Roblox menyumbangkan tiga model keamanan sumber terbuka ke Komunitas Model Robust Open Online Safety Tools (ROOST). Ini mencakup pembaruan pada PII Classifier sumber terbuka kami, Roblox Sentinel, dan klasifikasi keamanan suara terbaru kami. Kami juga merilis dataset evaluasi baru sebagai open-source yang dapat digunakan perusahaan lain untuk membandingkan kinerja klasifikator mereka sendiri. Versi model-model ini sudah berjalan di Roblox, mendeteksi upaya untuk meminta atau membagikan informasi pribadi, mengidentifikasi tanda-tanda awal bahaya terhadap anak, serta memoderasi obrolan suara secara real-time. 

Kami bergabung dengan ROOST sebagai anggota pendiri pada awal tahun 2025, bersama dengan Google, OpenAI, dan lainnya. Dengan membagikan model-model ini, platform lain memiliki titik awal yang kokoh untuk melatih dan menyempurnakan alat moderasi mereka sendiri. Sebagai imbalannya, kami berharap dapat memperoleh manfaat dari pembelajaran dan umpan balik dari perusahaan lain saat mereka membagikan hasil kerja mereka.

Menjaga Kerahasiaan Informasi Pribadi

Roblox PII Classifier dilatih untuk mendeteksi upaya pemain dalam membagikan atau meminta informasi identitas pribadi (PII) atau mengalihkan pemain ke platform lain, di mana perlindungan mungkin tidak sekuat di sini. Hal ini mencakup upaya untuk menghindari deteksi melalui kesalahan ejaan, kata-kata yang disamarkan, atau referensi samar ke platform lain. Alih-alih mencari kecocokan kata yang persis, sistem ini dirancang untuk memahami konteks percakapan, sehingga dapat mendeteksi permintaan samar yang mungkin terlewatkan oleh filter standar. 

Versi 2.0 menghadirkan beberapa pembaruan utama: Data pelatihan dan evaluasi kini menggabungkan konteks percakapan di sekitarnya, bukan sekadar pesan terpisah yang mungkin tampak ambigu. Mengevaluasi pesan dalam konteks percakapan yang lebih luas membantu mendeteksi niat untuk membagikan atau meminta PII. Pelatihan menggunakan kumpulan contoh sintetis yang dihasilkan oleh LLM untuk skenario pengelakan yang lebih kompleks dan kasus multibahasa yang jarang terjadi membantu kami meningkatkan jumlah bahasa yang didukung dari 17 menjadi 189. Kami juga menggabungkan LLM dengan fitur pengambilan konteks untuk mengambil sampel relevan dari kumpulan data berlabel yang telah dikurasi. Saat ini, akurasi dan tingkat deteksi versi 2.0 lebih unggul dibandingkan teknik moderasi tradisional—terutama dalam menghadapi upaya pengelakan yang lebih canggih. Misalnya, jika seseorang ditanya tentang server di platform lain, mereka mungkin menyamarkan jawabannya:

Pengguna: “it’s dscrd (dot) gg (slash) rblx-vibe-99,” 

Pengguna: “sekarang ganti (titik) dengan . dan (garis miring) dengan /.”

Versi 2.0 dapat memahami konteks dari pesan-pesan tersebut secara bersamaan dan mencegah pembagian PII yang dapat membuat pemain keluar dari Roblox. Berkat red-teaming otomatis dan pembuatan data sintetis yang ditargetkan, model ini bahkan lebih baik dalam membedakan pembagian PII yang halus dari percakapan santai sambil tetap mempertahankan pengalaman pengguna yang alami. Pekerjaan ini meningkatkan skor F1 kami dari 63,41 menjadi 90,52—sebuah peningkatan signifikan dibandingkan versi 1.0 yang mencapai skor tertinggi di berbagai tolok ukur internal dan sumber terbuka.

Berbagi Kumpulan Data Evaluasi

Roblox PII Classifier Benchmark adalah kumpulan data evaluasi baru untuk klasifikasi PII yang berisi sampel sintetis percakapan multi-pengguna berbahasa Inggris yang dimodelkan berdasarkan teknik-teknik yang sering digunakan untuk menghindari filter PII. Sampel-sampel tersebut merupakan simulasi yang dihasilkan oleh Model Bahasa Besar (LLM) yang menampilkan pemain yang meminta atau membagikan PII, atau mengarahkan pemain untuk meninggalkan platform. Strategi yang digunakan meliputi bypass fonetik, penggantian karakter dan visual, bahasa kode, serta pemisahan informasi di sepanjang giliran percakapan. Kami juga melatih model pada “hard negatives”, seperti obrolan yang tidak berbahaya namun tampak mirip dengan percakapan yang melibatkan pembagian atau permintaan PII.

Kumpulan data ini mencerminkan percakapan online multi-pengguna yang realistis, berbeda dengan kumpulan data yang ada yang sering berfokus pada ekstraksi entitas bernama—hanya sebagian kecil dari apa yang dilihat platform. Dalam praktiknya, upaya untuk meminta PII sering kali muncul jauh sebelum string PII yang dapat dideteksi—misalnya, seorang pemain bertanya kepada pemain lain, “wuts ur @ on the app with the ghost?” Kami membagikan tolok ukur ini agar komunitas dapat menguji dan menyempurnakan PII Classifier Roblox, sehingga membantu kita semua bergerak menuju perlindungan daring yang lebih kuat.

Mendeteksi Risiko Seawal Mungkin

Roblox Sentinel dirancang untuk mendeteksi sinyal awal potensi bahaya bagi anak, jauh sebelum pesan menjadi cukup eksplisit untuk dideteksi oleh sistem lain. Dibangun berdasarkan pembelajaran kontrasif, Sentinel dilatih menggunakan pola percakapan yang tidak berbahaya maupun yang pada akhirnya berpotensi merugikan. Sistem ini membandingkan percakapan baru dengan pola-pola tersebut untuk menandai tanda peringatan halus agar ditinjau sebelum situasi memburuk. Sentinel memungkinkan peninjau manusia memprioritaskan obrolan yang paling mungkin memerlukan perhatian, sehingga mereka dapat segera mengambil tindakan terhadap akun pengguna yang melanggar dan melaporkan pengguna bermasalah kepada pihak berwenang yang sesuai. Hingga 12 bulan yang berakhir pada 7 Agustus 2026, hampir 70% kasus yang kami deteksi berkat deteksi dini Sentinel, seringkali mendeteksi kasus-kasus ini jauh lebih cepat daripada metode deteksi lainnya.

Hari ini, kami merilis versi 2, yang meningkatkan akurasi dengan menawarkan lebih banyak cara untuk menggabungkan skor, diperluas dari dua fungsi penggabungan menjadi enam, masing-masing sesuai dengan jenis data yang berbeda. Dengan memasukkan masukan dari komunitas ROOST, versi 2 juga menambahkan cara baru untuk mengevaluasi fungsi mana yang paling sesuai dengan kasus penggunaan tertentu, termasuk penjelasan mengapa suatu sumber mendapatkan skor seperti itu. Dan dengan menghilangkan kebutuhan untuk menghitung ulang data evaluasi untuk setiap pengaturan, versi 2 membuat pencarian di antara pilihan-pilihan tersebut menjadi praktis. Sebagai contoh, versi 2 mampu menyelesaikan pemindaian terhadap 324 konfigurasi dalam waktu kurang dari tiga menit—pemindaian tersebut sebelumnya akan memakan waktu hampir satu jam. Versi ini juga meningkatkan nilai ROC-AUC (ukuran standar kualitas peringkat) dari 0,894 dengan pengaturan default menjadi 0,996 dengan konfigurasi terbaik yang teridentifikasi. Optimalisasi ini diharapkan membuat alat sumber terbuka baru ini lebih mudah diuji dan disesuaikan untuk kasus penggunaan tertentu.

Mengatur Keamanan Suara Secara Real-Time

Klasifikasi keamanan suara kami dirancang untuk mendeteksi dan menandai ucapan yang tidak pantas secara real-time. Ketika seorang pemain melanggar salah satu aturan kami, mereka akan melihat pemberitahuan yang memberikan peringatan serta informasi mengenai kebijakan mana yang telah dilanggar. Jika mereka terus melanggar aturan, akses obrolan akan ditangguhkan sementara hingga lima menit. Pemain dapat dikenakan konsekuensi yang lebih berat untuk pelanggaran yang lebih serius atau jika pemain lain mengajukan laporan terhadap mereka. Klasifikasi kami telah diunduh lebih dari 72.000 kali sejak kami menjadikannya open-source pada tahun 2024. 

Versi 3 yang baru saja dirilis memoderasi obrolan suara dalam total 30 bahasa dan delapan kategori pelanggaran dengan tingkat recall dan presisi yang lebih tinggi. Di seluruh 30 bahasa tersebut, sistem ini mencapai tingkat recall 61% dengan tingkat false-positive yang ketat sebesar 1%. Sistem ini juga dilengkapi dengan fitur deteksi bahasa bawaan. Peningkatan ini didorong oleh data pelatihan berlabel yang lebih banyak di seluruh 30 bahasa yang didukung—pelabelan mesin untuk volume, kemudian pelabelan manusia untuk kualitas. Meskipun jumlah parameter model dasarnya meningkat dari 94,6 juta menjadi 320 juta, kami menggunakan teknik distilasi model agar sistem tetap cukup cepat untuk deteksi real-time. 

Keamanan adalah tanggung jawab bersama—tidak ada perusahaan yang dapat menyelesaikannya sendirian. Tujuan kami dalam berkontribusi pada ROOST adalah untuk membantu perusahaan lain meningkatkan klasifikator keamanan mereka sendiri. Kami akan terus berbagi dan belajar dari komunitas ROOST seiring kami bersama-sama mengembangkan deteksi otomatis.