Roblox met à disposition des modèles de sécurité open source pour la communauté ROOST Model

Roblox apporte trois modèles de sécurité open source à la communauté ROOST (Robust Open Online Safety Tools). Il s’agit notamment de mises à jour de notre classificateur open source de données à caractère personnel (PII), de Roblox Sentinel, ainsi que de notre tout dernier classificateur de sécurité vocale. Nous mettons également à disposition en open source un nouvel ensemble de données d’évaluation que d’autres entreprises peuvent utiliser pour comparer leurs propres classificateurs. Des versions de ces modèles fonctionnent déjà sur Roblox : elles détectent les tentatives de sollicitation ou de partage d’informations personnelles, signalent les premiers signes de mise en danger des enfants et modèrent le chat vocal en temps réel. 

Nous avons rejoint ROOST en tant que membre fondateur début 2025, aux côtés de Google, OpenAI et d’autres acteurs. Le partage de ces modèles offre aux autres plateformes un point de départ solide pour entraîner et affiner leurs propres outils de modération. En retour, nous espérons tirer profit des enseignements et des retours d’expérience des autres entreprises à mesure qu’elles partageront leurs travaux.

Préserver la confidentialité des informations personnelles

Le classificateur de données personnelles (PII) de Roblox est entraîné pour détecter les tentatives des joueurs visant à partager ou à demander des informations personnelles identifiables (PII), ou à inciter d’autres joueurs à rejoindre d’autres plateformes où les mesures de protection pourraient être moins rigoureuses. Cela inclut les tentatives visant à contourner la détection par le biais de fautes d’orthographe, de mots codés ou de références obscures à d’autres plateformes. Plutôt que de rechercher des correspondances exactes de mots, il est conçu pour comprendre le contexte conversationnel, ce qui lui permet de repérer des demandes cryptiques que les filtres standard pourraient manquer. 

La version 2.0 apporte plusieurs mises à jour majeures : les données d’entraînement et d’évaluation intègrent désormais le contexte conversationnel global, plutôt que des messages isolés pouvant sembler ambigus. L’évaluation des messages dans le contexte d’une conversation plus large permet de détecter l’intention de partager ou de solliciter des informations personnelles identifiables. L’entraînement sur un ensemble d’exemples synthétiques générés par un modèle de langage à grande échelle (LLM), représentant des scénarios de contournement plus complexes et des cas multilingues rares, nous a permis de faire passer le nombre de langues prises en charge de 17 à 189. Nous avons également associé les modèles LLM à une fonctionnalité de récupération de contexte afin d’extraire des échantillons pertinents d’un ensemble de données étiquetées soigneusement sélectionnées. Aujourd’hui, la précision et le rappel de la version 2.0 surpassent ceux des techniques de modération traditionnelles, en particulier face à des tentatives de contournement plus sophistiquées. Par exemple, si l’on interroge un utilisateur au sujet d’un serveur sur une autre plateforme, celui-ci pourrait brouiller sa réponse :

Utilisateur : « c’est dscrd (point) gg (barre oblique) rblx-vibe-99 », 

Utilisateur : « Maintenant, remplace (point) par . et (barre oblique) par /. » La

version 2.0 est capable de comprendre le contexte global de ces messages et d’empêcher le partage d’informations personnelles identifiables (PII) qui pourraient conduire un joueur à quitter Roblox. Grâce à des tests de sécurité automatisés (red teaming) et à la génération ciblée de données synthétiques, le modèle parvient encore mieux à distinguer le partage subtil d’informations personnelles identifiables d’une conversation informelle, tout en préservant une expérience utilisateur naturelle. Ce travail a permis de faire passer notre score F1 de 63,41 à 90,52 — une amélioration significative par rapport à la version 1.0, qui obtient déjà les meilleurs scores dans les benchmarks internes et open source.

Partage d’un ensemble de données d’évaluation

« Roblox PII Classifier Benchmark » est un nouvel ensemble de données d’évaluation destiné aux classificateurs d’informations personnelles identifiables (PII), comprenant des échantillons synthétiques de discussions multi-utilisateurs en anglais, modélisés à partir de techniques souvent utilisées pour contourner les filtres de PII. Ces échantillons sont des simulations générées par un modèle de langage de grande envergure (LLM) dans lesquelles des joueurs demandent ou partagent des informations personnelles identifiables, ou incitent d’autres joueurs à quitter la plateforme. Les stratégies utilisées comprenaient des contournements phonétiques, la substitution de caractères et d’éléments visuels, un langage codé, ainsi que la répartition des informations sur plusieurs tours de conversation. Nous avons également effectué un apprentissage sur des « négatifs difficiles », tels que des discussions inoffensives mais qui ressemblent à des conversations impliquant le partage ou la sollicitation d’informations personnelles identifiables.

Cet ensemble de données reflète des discussions en ligne multi-utilisateurs réalistes, contrairement aux ensembles de données existants qui se concentrent souvent sur l’extraction d’entités nommées — un petit sous-ensemble de ce que les plateformes observent. Dans la pratique, les tentatives de sollicitation d’informations personnelles identifiables apparaissent souvent bien avant toute chaîne de caractères détectable contenant de telles informations — par exemple, un joueur demandant à un autre : « c’est quoi ton @ sur l’appli avec le fantôme ? » Nous partageons ce benchmark afin que la communauté puisse tester et améliorer le classificateur d’informations personnelles identifiables de Roblox, ce qui nous aidera tous à progresser vers des protections en ligne encore plus solides.

Détecter les risques le plus tôt possible

Roblox Sentinel est conçu pour détecter les premiers signes d’une mise en danger potentielle des enfants, bien avant que les messages ne deviennent suffisamment explicites pour être détectés par d’autres systèmes. Basé sur l’apprentissage contrastif, Sentinel est entraîné à reconnaître les schémas de conversations tant inoffensives que potentiellement préjudiciables. Il compare les nouvelles conversations à ces schémas afin de signaler les signes avant-coureurs subtils pour qu’ils soient examinés avant que la situation ne s’aggrave. Sentinel permet aux modérateurs humains de hiérarchiser les discussions les plus susceptibles de nécessiter une intervention, afin qu’ils puissent agir rapidement sur les comptes des utilisateurs malveillants et signaler les utilisateurs problématiques aux autorités compétentes. Au cours des 12 mois clos le 7 août 2026, près de 70 % des cas que nous avons détectés l’ont été grâce à la détection précoce de Sentinel, qui a souvent permis de repérer ces cas bien plus tôt que d’autres méthodes de détection.

Aujourd’hui, nous lançons la version 2, qui améliore la précision en proposant davantage de façons de combiner les scores, passant de deux à six fonctions de combinaison, chacune adaptée à un type de données différent. Intégrant les retours de la communauté ROOST, la version 2 ajoute également de nouveaux moyens d’évaluer quelle fonction correspond le mieux à un cas d’utilisation donné, y compris des explications sur les raisons pour lesquelles une source a obtenu un score donné. Et en éliminant la nécessité de recalculer les données d’évaluation pour chaque paramétrage, la version 2 rend la recherche parmi ces choix plus pratique. À titre d’exemple, la version 2 a pu effectuer un balayage de 324 configurations en moins de trois minutes — un balayage qui aurait auparavant pris près d’une heure. Elle a également fait passer l’AUC de la courbe ROC (une mesure standard de la qualité du classement) de 0,894 avec les paramètres par défaut à 0,996 avec la meilleure configuration identifiée. Ces optimisations devraient faciliter le test et le réglage de ce nouvel outil open source pour des cas d’utilisation spécifiques.

Modération de la sécurité vocale en temps réel

Notre classificateur de sécurité vocale est conçu pour détecter et signaler en temps réel les propos inappropriés. Lorsqu'un joueur enfreint l'une de nos règles, il reçoit une notification lui adressant un avertissement et lui indiquant quelle règle il a enfreinte. S'il continue à enfreindre les règles, son accès au chat sera temporairement suspendu pendant cinq minutes maximum. Les joueurs peuvent s'exposer à des sanctions plus sévères en cas d'infractions plus graves ou si d'autres joueurs déposent des signalements à leur encontre. Notre classificateur a été téléchargé plus de 72 000 fois depuis que nous l’avons mis en open source en 2024. 

La version 3, récemment publiée, modère le chat vocal dans un total de 30 langues et huit catégories d’infractions, avec un rappel et une précision encore plus élevés. Sur l’ensemble des 30 langues, elle atteint un rappel de 61 % avec un taux de faux positifs strictement limité à 1 %. Elle intègre également une détection automatique de la langue. Ces progrès ont été rendus possibles par un plus grand volume de données d’entraînement étiquetées dans les 30 langues prises en charge : un étiquetage automatique pour le volume, puis un étiquetage humain pour la qualité. Même si le modèle sous-jacent est passé de 94,6 millions à 320 millions de paramètres, nous avons eu recours à la distillation de modèle afin de garantir une vitesse suffisante pour la détection en temps réel. 

La sécurité est une responsabilité partagée : aucune entreprise ne peut y parvenir seule. Notre intention en contribuant à ROOST est d’aider d’autres entreprises à améliorer leurs propres classificateurs de sécurité. Nous continuerons à partager et à apprendre de la communauté ROOST tout en faisant progresser ensemble la détection automatisée.