Roblox introduce modelli di sicurezza open source nella comunità ROOST Model

Roblox sta contribuendo con tre modelli di sicurezza open source alla comunità ROOST (Robust Open Online Safety Tools). Questi includono aggiornamenti al nostro classificatore PII open source, a Roblox Sentinel e al nostro più recente classificatore per la sicurezza vocale. Stiamo inoltre rendendo open source un nuovo set di dati di valutazione che altre aziende possono utilizzare per confrontare le prestazioni dei propri classificatori. Alcune versioni di questi modelli sono già in uso su Roblox, dove rilevano i tentativi di sollecitare o condividere informazioni personali, segnalano i primi segnali di pericolo per i minori e moderano le chat vocali in tempo reale. 

Abbiamo aderito a ROOST come membri fondatori all’inizio del 2025, insieme a Google, OpenAI e altri. La condivisione di questi modelli offre alle altre piattaforme un solido punto di partenza per addestrare e mettere a punto i propri strumenti di moderazione. A nostra volta, speriamo di trarre beneficio dalle conoscenze e dai feedback delle altre aziende man mano che condividono il proprio lavoro.

Garantire la riservatezza delle informazioni personali

Il classificatore PII di Roblox è addestrato a rilevare i tentativi dei giocatori di condividere o richiedere informazioni di identificazione personale (PII) o di indirizzare altri giocatori verso piattaforme in cui le misure di protezione potrebbero non essere altrettanto solide. Ciò include i tentativi di eludere il rilevamento tramite errori ortografici, parole in codice o riferimenti oscuri ad altre piattaforme. Anziché cercare corrispondenze esatte delle parole, è progettato per comprendere il contesto conversazionale, il che lo aiuta a individuare richieste criptiche che i filtri standard potrebbero non rilevare. 

La versione 2.0 introduce diversi aggiornamenti significativi: i dati di addestramento e valutazione ora incorporano il contesto conversazionale circostante, anziché messaggi isolati che potrebbero sembrare ambigui. Valutare i messaggi nel contesto di una conversazione più ampia aiuta a rilevare l’intenzione di condividere o sollecitare PII. L’addestramento su un insieme di esempi sintetici generati da un modello di linguaggio di grandi dimensioni (LLM), relativi a scenari di elusione più complessi e a rari casi multilingue, ci ha aiutato ad ampliare il numero di lingue supportate da 17 a 189. Abbiamo inoltre abbinato i modelli LLM al recupero del contesto per estrarre campioni rilevanti da un insieme curato di dati etichettati. Oggi, la precisione e il richiamo della versione 2.0 superano le tecniche di moderazione tradizionali, in particolare nei tentativi di aggirare i controlli più sofisticati. Ad esempio, se a qualcuno viene chiesto di un server su un’altra piattaforma, potrebbe nascondere la propria risposta:

Utente: «è dscrd (punto) gg (barra) rblx-vibe-99», 

Utente: «ora sostituisci (punto) con . e (barra) con /.» La

versione 2.0 è in grado di comprendere il contesto complessivo di questi messaggi e impedire la condivisione di informazioni personali identificative (PII) che potrebbero portare un giocatore a lasciare Roblox. Grazie al red-teaming automatizzato e alla generazione mirata di dati sintetici, il modello è ancora più efficace nel distinguere la condivisione di PII, anche nelle sfumature più sottili, dalle conversazioni casuali, preservando al contempo un'esperienza utente naturale. Questo lavoro ha aumentato il nostro punteggio F1 da 63,41 a 90,52: un miglioramento significativo rispetto alla versione 1.0, che ha ottenuto i punteggi più alti nei benchmark interni e open-source.

Condivisione di un set di dati di valutazione

Il «Roblox PII Classifier Benchmark» è un nuovo set di dati di valutazione per classificatori di PII, composto da campioni sintetici di chat multiutente in lingua inglese modellati sulle tecniche spesso utilizzate per eludere i filtri PII. I campioni sono simulazioni generate da modelli di linguaggio di grandi dimensioni (LLM) in cui i giocatori chiedono o condividono PII, oppure indirizzano altri giocatori fuori dalla piattaforma. Le strategie includevano bypass fonetici, sostituzione di caratteri e elementi visivi, linguaggio in codice e suddivisione delle informazioni tra i turni di conversazione. Abbiamo inoltre effettuato l’addestramento su “hard negatives”, ovvero chat innocue ma simili a conversazioni che includono la condivisione o la richiesta di PII.

Questo set di dati riflette una chat online multiutente realistica, a differenza dei set di dati esistenti che spesso si concentrano sull’estrazione di entità denominate — un piccolo sottoinsieme di ciò che le piattaforme rilevano. In pratica, i tentativi di sollecitare informazioni personali spesso compaiono ben prima di qualsiasi stringa rilevabile contenente tali informazioni — ad esempio, un giocatore che chiede a un altro: «qual è il tuo @ sull’app con il fantasma?». Condividiamo questo benchmark affinché la comunità possa testare e migliorare il Classificatore di informazioni personali di Roblox, aiutandoci tutti a progredire verso protezioni online ancora più solide.

Rilevare il rischio il prima possibile

Roblox Sentinel è progettato per rilevare i primi segnali di potenziale pericolo per i minori, ben prima che i messaggi diventino abbastanza espliciti da poter essere rilevati da altri sistemi. Basato sull’apprendimento contrastivo, Sentinel è addestrato sui modelli sia di conversazioni innocue che di quelle potenzialmente dannose. Confronta le nuove conversazioni con tali modelli per segnalare sottili segnali di allarme da esaminare prima che possano aggravarsi. Sentinel consente ai revisori umani di dare priorità alle chat che con maggiore probabilità richiedono attenzione, in modo da poter intervenire rapidamente sugli account degli utenti malintenzionati e segnalare gli utenti problematici alle autorità competenti. Nei 12 mesi terminati il 7 agosto 2026, quasi il 70% dei casi da noi individuati è stato individuato grazie al rilevamento precoce di Sentinel, che spesso individua questi casi molto prima rispetto ad altri metodi di rilevamento.

Oggi lanciamo la versione 2, che aumenta la precisione offrendo più modi per combinare i punteggi, passando da due a sei funzioni di combinazione, ciascuna adatta a un diverso tipo di dati. Incorporando il feedback della comunità ROOST, la versione 2 aggiunge anche nuovi modi per valutare quale funzione si adatti meglio a un determinato caso d’uso, comprese le spiegazioni del perché una fonte abbia ottenuto quel punteggio. Inoltre, eliminando la necessità di ricalcolare i dati di valutazione per ogni impostazione, la versione 2 rende pratica la ricerca tra tali opzioni. Ad esempio, la versione 2 è stata in grado di completare una scansione su 324 configurazioni in meno di tre minuti: in precedenza, tale operazione avrebbe richiesto quasi un’ora. Ha inoltre aumentato l’AUC della curva ROC (una misura standard della qualità del ranking) da 0,894 con le impostazioni predefinite a 0,996 con la configurazione ottimale individuata. Queste ottimizzazioni dovrebbero rendere questo nuovo strumento open source più facile da testare e mettere a punto per casi d’uso specifici.

Moderazione della sicurezza vocale in tempo reale

Il nostro classificatore per la sicurezza delle conversazioni è progettato per rilevare e segnalare in tempo reale i contenuti inappropriati. Quando un giocatore infrange una delle nostre regole, riceve una notifica che gli fornisce un avvertimento e indica quale politica è stata violata. Se continua a infrangere le regole, l'accesso alla chat verrà temporaneamente sospeso per un massimo di cinque minuti. I giocatori potrebbero essere soggetti a conseguenze più severe in caso di violazioni più gravi o se altri giocatori presentano segnalazioni nei loro confronti. Il nostro classificatore è stato scaricato più di 72.000 volte da quando lo abbiamo reso open source nel 2024. 

La versione 3, rilasciata di recente, modera la chat vocale in un totale di 30 lingue e otto categorie di violazioni con un recall e una precisione ancora più elevati. Su tutte e 30 le lingue, raggiunge un recall del 61% con un tasso di falsi positivi rigorosamente limitato all’1%. Aggiunge inoltre il rilevamento della lingua integrato. Questi miglioramenti sono stati resi possibili da una maggiore quantità di dati di addestramento etichettati in tutte le 30 lingue supportate: etichettatura automatica per garantire il volume, seguita da etichettatura manuale per garantire la qualità. Sebbene il modello sottostante sia passato da 94,6 milioni a 320 milioni di parametri, abbiamo utilizzato la distillazione del modello per mantenerlo sufficientemente veloce da consentire il rilevamento in tempo reale. 

La sicurezza è una responsabilità condivisa: nessuna azienda può affrontarla da sola. Il nostro intento nel contribuire a ROOST è aiutare altre aziende a migliorare i propri classificatori di sicurezza. Continueremo a condividere e ad apprendere dalla comunità ROOST mentre portiamo avanti insieme il rilevamento automatizzato.