Roblox stellt der ROOST-Modell-Community Open-Source-Sicherheitsmodelle zur Verfügung

Roblox stellt der ROOST-Modell-Community (Robust Open Online Safety Tools) drei Open-Source-Sicherheitsmodelle zur Verfügung. Dazu gehören Aktualisierungen unseres Open-Source-PII-Klassifikators, von Roblox Sentinel sowie unseres neuesten Klassifikators für Sprachsicherheit. Außerdem stellen wir einen neuen Evaluierungsdatensatz als Open Source zur Verfügung, den andere Unternehmen nutzen können, um ihre eigenen Klassifikatoren zu bewerten. Versionen dieser Modelle laufen bereits auf Roblox und erkennen Versuche, persönliche Informationen zu erfragen oder weiterzugeben, weisen auf frühe Anzeichen einer Gefährdung von Kindern hin und moderieren den Voice-Chat in Echtzeit. 

Wir sind Anfang 2025 gemeinsam mit Google, OpenAI und anderen als Gründungsmitglied der ROOST beigetreten. Die Bereitstellung dieser Modelle bietet anderen Plattformen eine solide Ausgangsbasis, um ihre eigenen Moderations-Tools zu trainieren und zu optimieren. Im Gegenzug hoffen wir, von den Erkenntnissen und dem Feedback anderer Unternehmen zu profitieren, wenn diese ihre Arbeit teilen.

Persönliche Daten privat halten

Der Roblox-PII-Klassifikator wurde darauf trainiert, Versuche von Spielern zu erkennen, personenbezogene Daten (PII) weiterzugeben oder anzufordern oder Spieler auf andere Plattformen zu locken, auf denen der Schutz möglicherweise nicht so robust ist. Dazu gehören auch Versuche, die Erkennung durch Rechtschreibfehler, verschlüsselte Wörter oder verschleierte Verweise auf andere Plattformen zu umgehen. Anstatt nach exakten Wortübereinstimmungen zu suchen, ist er darauf ausgelegt, den Konversationskontext zu verstehen, wodurch er kryptische Anfragen erkennen kann, die Standardfiltern möglicherweise entgehen. 

Version 2.0 bringt mehrere wichtige Neuerungen mit sich: Trainings- und Bewertungsdaten berücksichtigen nun den umgebenden Konversationskontext, anstatt isolierte Nachrichten, die mehrdeutig wirken könnten. Die Auswertung von Nachrichten im Kontext einer umfassenderen Unterhaltung hilft dabei, die Absicht zu erkennen, personenbezogene Daten weiterzugeben oder einzuholen. Das Training anhand eines von LLMs generierten Satzes synthetischer Beispiele für komplexere Umgehungsszenarien und seltene mehrsprachige Fälle hat uns geholfen, die Anzahl der von uns unterstützten Sprachen von 17 auf 189 zu erweitern. Außerdem haben wir LLMs mit Kontextabfrage kombiniert, um relevante Beispiele aus einem kuratierten Satz gekennzeichneter Daten zu extrahieren. Heute übertreffen Präzision und Recall der Version 2.0 herkömmliche Moderationstechniken – insbesondere bei ausgefeilteren Umgehungsversuchen. Wenn jemand beispielsweise nach einem Server auf einer anderen Plattform gefragt wird, könnte er seine Antwort verschleiern:

Nutzer: „Es ist dscrd (Punkt) gg (Schrägstrich) rblx-vibe-99“, 

Nutzer: „Ersetze jetzt (dot) durch . und (slash) durch /.“

Version 2.0 kann den Kontext dieser Nachrichten im Zusammenhang verstehen und so die Weitergabe personenbezogener Daten verhindern, die dazu führen könnten, dass ein Spieler Roblox verlässt. Dank automatisierter Red-Team-Tests und gezielter Generierung synthetischer Daten ist das Modell noch besser darin, die Weitergabe nuancierter personenbezogener Daten von beiläufigen Unterhaltungen zu unterscheiden und gleichzeitig eine natürliche Benutzererfahrung zu gewährleisten. Diese Arbeit hat unseren F1-Score von 63,41 auf 90,52 gesteigert – eine deutliche Verbesserung gegenüber Version 1.0, die bei internen und Open-Source-Benchmarks Spitzenwerte erzielt.

Veröffentlichung eines Bewertungsdatensatzes

Der „Roblox PII Classifier Benchmark“ ist ein neuer Evaluierungsdatensatz für PII-Klassifikatoren mit synthetischen Beispielen englischsprachiger Mehrbenutzer-Chats, die auf Techniken basieren, die häufig zur Umgehung von PII-Filtern verwendet werden. Bei den Beispielen handelt es sich um durch LLM generierte Simulationen von Spielern, die nach PII fragen, diese weitergeben oder andere Spieler von der Plattform wegleiten. Zu den Strategien gehörten phonetische Umgehungen, Zeichen- und visuelle Substitutionen, verschlüsselte Sprache sowie die Aufteilung von Informationen über mehrere Gesprächsrunden hinweg. Wir haben außerdem mit „Hard Negatives“ trainiert, also Chats, die harmlos sind, aber ähnlich aussehen wie Unterhaltungen, in denen personenbezogene Daten weitergegeben oder erfragt werden.

Dieser Datensatz spiegelt realistische Online-Chats mit mehreren Nutzern wider, im Gegensatz zu bestehenden Datensätzen, die sich oft auf die Extraktion benannter Entitäten konzentrieren – eine kleine Teilmenge dessen, was auf Plattformen tatsächlich vorkommt. In der Praxis tauchen Versuche, personenbezogene Daten zu erfragen, oft schon lange vor einer erkennbaren Zeichenfolge mit solchen Daten auf – zum Beispiel, wenn ein Spieler einen anderen fragt: „wuts ur @ on the app with the ghost?“ Wir stellen diesen Benchmark zur Verfügung, damit die Community den PII-Klassifikator von Roblox testen und verbessern kann, was uns allen hilft, noch stärkere Online-Schutzmaßnahmen zu erreichen.

Risiken so früh wie möglich erkennen

Roblox Sentinel wurde entwickelt, um frühe Anzeichen einer potenziellen Gefährdung von Kindern zu erkennen, lange bevor Nachrichten so eindeutig werden, dass andere Systeme sie erkennen können. Sentinel basiert auf kontrastivem Lernen und wurde anhand von Mustern sowohl harmloser als auch potenziell schädlicher Unterhaltungen trainiert. Es vergleicht neue Unterhaltungen mit diesen Mustern, um subtile Warnzeichen zur Überprüfung zu kennzeichnen, bevor sie eskalieren können. Sentinel ermöglicht es menschlichen Prüfern, den Chats Priorität einzuräumen, die am ehesten Aufmerksamkeit erfordern, sodass sie schnell Maßnahmen gegen die Konten missbräuchlicher Nutzer ergreifen und problematische Nutzer den zuständigen Behörden melden können. In den zwölf Monaten bis zum 7. August 2026 waren fast 70 % der von uns erkannten Fälle auf die Früherkennung durch Sentinel zurückzuführen, wobei diese Fälle oft viel früher entdeckt wurden als mit anderen Erkennungsmethoden.

Heute veröffentlichen wir Version 2, die die Genauigkeit erhöht, indem sie mehr Möglichkeiten zur Kombination von Bewertungen bietet – die Anzahl der Kombinationsfunktionen wurde von zwei auf sechs erweitert, wobei jede für eine andere Art von Daten geeignet ist. Unter Einbeziehung des Feedbacks aus der ROOST-Community bietet Version 2 zudem neue Möglichkeiten zur Beurteilung, welche Funktion am besten zu einem bestimmten Anwendungsfall passt, einschließlich Erklärungen, warum eine Quelle eine bestimmte Bewertung erhalten hat. Da die Bewertungsdaten nicht mehr für jede Einstellung neu berechnet werden müssen, ermöglicht Version 2 zudem eine praktische Suche über diese Auswahlmöglichkeiten hinweg. In einem Beispiel konnte Version 2 einen Durchlauf durch 324 Konfigurationen in weniger als drei Minuten abschließen – dieser Durchlauf hätte zuvor fast eine Stunde gedauert. Zudem stieg der ROC-AUC-Wert (ein Standardmaß für die Ranking-Qualität) von 0,894 bei den Standardeinstellungen auf 0,996 bei der identifizierten besten Konfiguration. Diese Optimierungen sollten es einfacher machen, dieses neue Open-Source-Tool für spezifische Anwendungsfälle zu testen und anzupassen.

Moderation der Sprachsicherheit in Echtzeit

Unser Klassifikator für Sprachsicherheit wurde entwickelt, um unangemessene Äußerungen in Echtzeit zu erkennen und zu kennzeichnen. Wenn ein Spieler gegen eine unserer Regeln verstößt, erhält er eine Benachrichtigung mit einer Verwarnung und Informationen darüber, gegen welche Richtlinie er verstoßen hat. Wenn er weiterhin gegen die Regeln verstößt, wird sein Chat-Zugang vorübergehend für bis zu fünf Minuten gesperrt. Bei schwerwiegenderen Verstößen oder wenn andere Spieler Beschwerden gegen ihn einreichen, können für Spieler strengere Konsequenzen drohen. Unser Klassifikator wurde seit seiner Veröffentlichung als Open-Source-Software im Jahr 2024 mehr als 72.000 Mal heruntergeladen. 

Die kürzlich veröffentlichte Version 3 moderiert den Voice-Chat in insgesamt 30 Sprachen und acht Verstoßkategorien mit noch höherer Erfassungsrate und Präzision. Über alle 30 Sprachen hinweg erreicht sie eine Erfassungsrate von 61 % bei einer strengen Falsch-Positiv-Rate von 1 %. Außerdem verfügt sie über eine integrierte Spracherkennung. Diese Verbesserungen wurden durch mehr beschriftete Trainingsdaten in allen 30 unterstützten Sprachen erzielt – zunächst maschinelle Beschriftung in großem Umfang, anschließend manuelle Beschriftung zur Qualitätssicherung. Obwohl die Anzahl der Parameter des zugrunde liegenden Modells von 94,6 Millionen auf 320 Millionen gestiegen ist, haben wir Modelldestillation eingesetzt, um es für die Echtzeit-Erkennung schnell genug zu halten. 

Sicherheit ist eine gemeinsame Verantwortung – kein Unternehmen kann dieses Problem allein lösen. Mit unserem Beitrag zu ROOST möchten wir anderen Unternehmen helfen, ihre eigenen Sicherheitsklassifikatoren zu verbessern. Wir werden weiterhin Erfahrungen mit der ROOST-Community austauschen und von ihr lernen, während wir gemeinsam die automatisierte Erkennung vorantreiben.