Roblox introduceert open-source veiligheidsmodellen in de ROOST-modelcommunity

Roblox draagt drie open-source veiligheidsmodellen bij aan de Robust Open Online Safety Tools (ROOST) Model Community. Deze omvatten updates voor onze open-source PII-classificator, Roblox Sentinel, en onze nieuwste classificator voor spraakveiligheid. We stellen ook een nieuwe evaluatiedataset open source beschikbaar, die andere bedrijven kunnen gebruiken om hun eigen classifiers te benchmarken. Versies van deze modellen draaien al op Roblox, waar ze pogingen tot het vragen om of delen van persoonlijke informatie detecteren, vroege signalen van kindermishandeling signaleren en spraakchat in realtime modereren. 

We zijn begin 2025 als oprichtend lid toegetreden tot ROOST, samen met Google, OpenAI en anderen. Door deze modellen te delen, bieden we andere platforms een solide uitgangspunt om hun eigen moderatietools te trainen en te verfijnen. Op onze beurt hopen we te profiteren van de ervaringen en feedback van andere bedrijven wanneer zij hun werk delen.

Persoonlijke gegevens persoonlijk houden

De Roblox PII Classifier is getraind om pogingen van spelers te detecteren om persoonlijk identificeerbare informatie (PII) te delen of op te vragen, of om spelers naar andere platforms te leiden waar de bescherming mogelijk minder robuust is. Dit omvat ook pogingen om detectie te omzeilen door middel van spelfouten, gecodeerde woorden of obscure verwijzingen naar andere platforms. In plaats van te zoeken naar exacte woordovereenkomsten, is het systeem ontworpen om de context van een gesprek te begrijpen, waardoor het cryptische verzoeken kan opvangen die standaardfilters mogelijk over het hoofd zien. 

Versie 2.0 bevat verschillende belangrijke updates: Trainings- en evaluatiegegevens houden nu rekening met de omringende gesprekscontext, in plaats van met geïsoleerde berichten die dubbelzinnig kunnen lijken. Het evalueren van berichten in de context van een breder gesprek helpt bij het detecteren van de intentie om PII te delen of te vragen. Door te trainen op een door LLM’s gegenereerde set synthetische voorbeelden van complexere omzeilingsscenario’s en zeldzame meertalige gevallen, konden we het aantal ondersteunde talen uitbreiden van 17 naar 189. We hebben LLM’s ook gekoppeld aan het ophalen van context om relevante voorbeelden te selecteren uit een samengestelde set gelabelde gegevens. Tegenwoordig zijn de precisie en recall van versie 2.0 beter dan die van traditionele moderatietechnieken – met name bij meer geavanceerde pogingen om de regels te omzeilen. Als iemand bijvoorbeeld wordt gevraagd naar een server op een ander platform, kan hij zijn antwoord versleutelen:

Gebruiker: “het is dscrd (punt) gg (schuine streep) rblx-vibe-99,” 

Gebruiker: „vervang nu (dot) door . en (slash) door /.”

Versie 2.0 kan de context van die berichten als geheel begrijpen en zo voorkomen dat er PII wordt gedeeld waardoor een speler Roblox zou kunnen verlaten. Dankzij geautomatiseerde red-teaming en het genereren van gerichte synthetische gegevens is het model nog beter in staat om het delen van genuanceerde PII te onderscheiden van gewone gesprekken, terwijl een natuurlijke gebruikerservaring behouden blijft. Dit werk heeft onze F1-score verhoogd van 63,41 naar 90,52 – een aanzienlijke verbetering ten opzichte van versie 1.0, die topscores behaalt in zowel interne als open-source benchmarks.

Een evaluatiedataset delen

Roblox PII Classifier Benchmark is een nieuwe evaluatiedataset voor PII-classificatoren met synthetische voorbeelden van Engelstalige chats met meerdere gebruikers, gemodelleerd naar technieken die vaak worden gebruikt om PII-filters te omzeilen. De voorbeelden zijn door LLM gegenereerde simulaties van spelers die om PII vragen of deze delen, of die spelers van het platform leiden. Strategieën omvatten fonetische omleidingen, vervanging van tekens en visuele elementen, gecodeerde taal en informatie die over verschillende gespreksbeurten is verdeeld. We hebben ook getraind op ‘hard negatives’, zoals chats die onschuldig zijn maar lijken op gesprekken waarin PII wordt gedeeld of gevraagd.

Deze dataset weerspiegelt realistische online chats met meerdere gebruikers, in tegenstelling tot bestaande datasets die vaak gericht zijn op het extraheren van benoemde entiteiten – een kleine subset van wat platforms te zien krijgen. In de praktijk verschijnen pogingen om PII te vragen vaak al lang voordat er een detecteerbare PII-reeks te zien is – bijvoorbeeld wanneer een speler aan een ander vraagt: „wuts ur @ on the app with the ghost?“ We delen deze benchmark zodat de community de PII-classificator van Roblox kan testen en verbeteren, waardoor we allemaal kunnen werken aan nog sterkere online beveiliging.

Risico’s zo vroeg mogelijk detecteren

Roblox Sentinel is ontworpen om vroege signalen van mogelijke gevaren voor kinderen te detecteren, ruim voordat berichten expliciet genoeg worden om door andere systemen te worden gedetecteerd. Sentinel is gebaseerd op contrastief leren en getraind op patronen van zowel onschuldige als uiteindelijk schadelijke gesprekken. Het vergelijkt nieuwe gesprekken met die patronen om subtiele waarschuwingssignalen te markeren voor beoordeling, voordat deze kunnen escaleren. Met Sentinel kunnen menselijke beoordelaars prioriteit geven aan de chats die waarschijnlijk de meeste aandacht vereisen, zodat ze snel actie kunnen ondernemen tegen de accounts van schadelijke gebruikers en problematische gebruikers kunnen melden bij de bevoegde autoriteiten. In de 12 maanden eindigend op 7 augustus 2026 was bijna 70% van de door ons gedetecteerde gevallen te danken aan de vroege detectie door Sentinel, waarbij deze gevallen vaak veel eerder werden opgemerkt dan met andere detectiemethoden.

Vandaag brengen we versie 2 uit, die de nauwkeurigheid verhoogt door meer manieren te bieden om scores te combineren: het aantal combinatiefuncties is uitgebreid van twee naar zes, elk geschikt voor een ander type gegevens. Op basis van feedback van de ROOST-gemeenschap voegt versie 2 ook nieuwe manieren toe om te beoordelen welke functie het beste past bij een bepaald gebruiksscenario, inclusief uitleg over waarom een bron een bepaalde score heeft gekregen. En doordat het niet langer nodig is om evaluatiegegevens voor elke instelling opnieuw te berekenen, maakt versie 2 het doorzoeken van al die keuzes praktisch haalbaar. In één voorbeeld kon versie 2 in minder dan drie minuten een sweep uitvoeren over 324 configuraties – die sweep zou voorheen bijna een uur hebben geduurd. Ook steeg de ROC-AUC (een standaardmaatstaf voor de kwaliteit van rangschikkingen) van 0,894 bij de standaardinstellingen naar 0,996 bij de beste geïdentificeerde configuratie. Deze optimalisaties zouden het gemakkelijker moeten maken om deze nieuwe open-source-tool te testen en af te stemmen op specifieke gebruikssituaties.

Het in realtime reguleren van de veiligheid van spraak

Onze classificator voor veilige communicatie is ontworpen om ongepaste uitlatingen in realtime te detecteren en te markeren. Wanneer een speler een van onze regels overtreedt, krijgt hij of zij een melding te zien met een waarschuwing en informatie over welk beleid is geschonden. Als de speler de regels blijft overtreden, wordt de toegang tot de chat tijdelijk opgeschort voor maximaal vijf minuten. Spelers kunnen zwaardere sancties krijgen bij ernstigere overtredingen of als andere spelers een klacht tegen hen indienen. Ons classificatiesysteem is meer dan 72.000 keer gedownload sinds we het in 2024 als open source hebben vrijgegeven. 

De onlangs uitgebrachte versie 3 modereert de spraakchat in in totaal 30 talen en acht overtredingscategorieën met een nog hogere recall en precisie. Over alle 30 talen heen bereikt het een recall van 61% bij een strikt percentage valse positieven van 1%. Daarnaast is er ingebouwde taaldetectie toegevoegd. Deze verbeteringen werden mogelijk gemaakt door meer gelabelde trainingsdata voor alle 30 ondersteunde talen — eerst machinaal labelen voor het volume, daarna handmatig labelen voor de kwaliteit. Hoewel het onderliggende model in omvang is toegenomen van 94,6 miljoen naar 320 miljoen parameters, hebben we model-distillatie toegepast om het snel genoeg te houden voor realtime detectie. 

Veiligheid is een gedeelde verantwoordelijkheid – geen enkel bedrijf kan dit alleen oplossen. Onze bedoeling met onze bijdrage aan ROOST is om andere bedrijven te helpen hun eigen veiligheidsclassificatoren te verbeteren. We zullen blijven delen en leren van de ROOST-gemeenschap terwijl we samen geautomatiseerde detectie verder ontwikkelen.