Roblox traz modelos de segurança de código aberto para a comunidade ROOST Model

A Roblox está contribuindo com três modelos de segurança de código aberto para a Comunidade de Modelos ROOST (Robust Open Online Safety Tools). Isso inclui atualizações do nosso classificador de PII de código aberto, o Roblox Sentinel, e do nosso mais recente classificador de segurança de voz. Também estamos disponibilizando como código aberto um novo conjunto de dados de avaliação que outras empresas podem usar para comparar o desempenho de seus próprios classificadores. Versões desses modelos já estão em operação no Roblox, detectando tentativas de solicitar ou compartilhar informações pessoais, sinalizando sinais precoces de risco à segurança infantil e moderando o chat de voz em tempo real. 

Nos associamos à ROOST como membro fundador no início de 2025, ao lado do Google, da OpenAI e de outras empresas. Compartilhar esses modelos oferece a outras plataformas um ponto de partida robusto para treinar e ajustar suas próprias ferramentas de moderação. Por sua vez, esperamos nos beneficiar dos aprendizados e do feedback de outras empresas à medida que elas compartilham seus trabalhos.

Mantendo as informações pessoais em sigilo

O Classificador de Informações de Identificação Pessoal (PII) do Roblox foi treinado para detectar tentativas de jogadores de compartilhar ou solicitar informações de identificação pessoal (PII) ou de direcionar jogadores para outras plataformas, onde as proteções podem não ser tão robustas. Isso inclui tentativas de contornar a detecção por meio de erros ortográficos, palavras codificadas ou referências obscuras a outras plataformas. Em vez de buscar correspondências exatas de palavras, ele foi desenvolvido para compreender o contexto conversacional, o que o ajuda a identificar solicitações enigmáticas que filtros padrão poderiam deixar passar. 

A versão 2.0 traz várias atualizações importantes: os dados de treinamento e avaliação agora incorporam o contexto conversacional ao redor, em vez de mensagens isoladas que poderiam parecer ambíguas. Avaliar as mensagens no contexto de uma conversa mais ampla ajuda a detectar a intenção de compartilhar ou solicitar PII. O treinamento com um conjunto gerado por LLM de exemplos sintéticos de cenários de contorno mais complexos e casos multilíngues raros nos ajudou a ampliar o número de idiomas suportados de 17 para 189. Também combinamos LLMs com a recuperação de contexto para extrair amostras relevantes de um conjunto selecionado de dados rotulados. Hoje, a precisão e a recuperação da versão 2.0 superam as técnicas tradicionais de moderação — especialmente em tentativas de contornar as regras mais sofisticadas. Por exemplo, se alguém for questionado sobre um servidor em outra plataforma, pode ocultar sua resposta:

Usuário: “é dscrd (ponto) gg (barra) rblx-vibe-99”, 

Usuário: “agora substitua (ponto) por . e (barra) por /.” A

versão 2.0 consegue compreender o contexto dessas mensagens em conjunto e impedir o compartilhamento de informações de identificação pessoal (PII) que poderiam fazer com que um jogador saísse do Roblox. Graças ao red teaming automatizado e à geração direcionada de dados sintéticos, o modelo é ainda mais eficaz em distinguir o compartilhamento sutil de PII de conversas casuais, ao mesmo tempo em que preserva uma experiência natural para o usuário. Esse trabalho elevou nossa pontuação F1 de 63,41 para 90,52 — uma melhoria significativa em relação à versão 1.0, que alcança as melhores pontuações em benchmarks internos e de código aberto.

Compartilhamento de um conjunto de dados de avaliação

O Roblox PII Classifier Benchmark é um novo conjunto de dados de avaliação para classificadores de PII, com amostras sintéticas de bate-papos entre múltiplos usuários em inglês, modeladas com base em técnicas frequentemente usadas para contornar filtros de PII. As amostras são simulações geradas por LLM de jogadores solicitando ou compartilhando PII, ou direcionando outros jogadores para fora da plataforma. As estratégias incluíram contornamentos fonéticos, substituição de caracteres e elementos visuais, linguagem codificada e divisão de informações ao longo das trocas de mensagens. Também treinamos com “negativos difíceis”, como bate-papos que são inofensivos, mas se parecem com conversas que incluem o compartilhamento ou a solicitação de PII.

Esse conjunto de dados reflete bate-papos online multiusuário realistas, ao contrário dos conjuntos de dados existentes, que frequentemente se concentram na extração de entidades nomeadas — um pequeno subconjunto do que as plataformas observam. Na prática, as tentativas de solicitar PII geralmente aparecem bem antes de qualquer sequência detectável de PII — por exemplo, um jogador perguntando a outro: “qual é o seu @ no app com o fantasma?”. Estamos compartilhando esse benchmark para que a comunidade possa testar e aprimorar o Classificador de PII do Roblox, ajudando a todos nós a avançarmos rumo a proteções online ainda mais robustas.

Detectando riscos o mais cedo possível

O Roblox Sentinel foi projetado para detectar sinais precoces de potencial risco à segurança infantil, bem antes que as mensagens se tornem explícitas o suficiente para que outros sistemas as detectem. Baseado em aprendizado contrastivo, o Sentinel é treinado com padrões tanto de conversas inofensivas quanto de conversas que podem vir a ser prejudiciais. Ele compara novas conversas com esses padrões para sinalizar sinais de alerta sutis para análise antes que possam se agravar. O Sentinel permite que revisores humanos priorizem os chats com maior probabilidade de exigirem atenção, para que possam agir rapidamente contra as contas de usuários mal-intencionados e denunciar usuários problemáticos às autoridades competentes. Nos 12 meses encerrados em 7 de agosto de 2026, quase 70% dos casos que detectamos foram identificados graças à detecção precoce do Sentinel, que muitas vezes identificou esses casos muito antes de outros métodos de detecção.

Hoje, estamos lançando a versão 2, que aumenta a precisão ao oferecer mais maneiras de combinar pontuações, passando de duas funções de combinação para seis, cada uma adequada a um tipo diferente de dados. Incorporando o feedback da comunidade ROOST, a versão 2 também adiciona novas maneiras de avaliar qual função se adapta melhor a um determinado caso de uso, incluindo explicações sobre por que uma fonte obteve determinada pontuação. E, ao eliminar a necessidade de recalcular os dados de avaliação para cada configuração, a versão 2 torna prática a pesquisa entre essas opções. Em um exemplo, a versão 2 conseguiu realizar uma varredura por 324 configurações em menos de três minutos — essa varredura levaria quase uma hora anteriormente. Ela também elevou o ROC-AUC (uma medida padrão de qualidade de classificação) de 0,894 com as configurações padrão para 0,996 com a melhor configuração identificada. Essas otimizações devem tornar essa nova ferramenta de código aberto mais fácil de testar e ajustar para casos de uso específicos.

Moderação da segurança de voz em tempo real

Nosso classificador de segurança de voz foi desenvolvido para detectar e sinalizar linguagem inadequada em tempo real. Quando um jogador infringe uma de nossas regras, ele recebe uma notificação com um aviso e informações sobre qual política foi violada. Se continuar a infringir as regras, o acesso ao chat será suspenso temporariamente por até cinco minutos. Os jogadores podem estar sujeitos a consequências mais severas em caso de violações graves ou se outros jogadores apresentarem denúncias contra eles. Nosso classificador já foi baixado mais de 72.000 vezes desde que o tornamos de código aberto em 2024. 

Lançada recentemente, a versão 3 modera o chat de voz em um total de 30 idiomas e oito categorias de violação, com recall e precisão ainda maiores. Em todos os 30 idiomas, ela atinge 61% de recall com uma taxa rigorosa de 1% de falsos positivos. Ela também adiciona detecção de idioma integrada. Esses ganhos foram impulsionados por mais dados de treinamento rotulados em todos os 30 idiomas suportados — rotulagem automática para volume e, em seguida, rotulagem humana para garantir a qualidade. Embora o modelo subjacente tenha aumentado de 94,6 milhões para 320 milhões de parâmetros, utilizamos a destilação de modelo para mantê-lo rápido o suficiente para a detecção em tempo real. 

A segurança é uma responsabilidade compartilhada — nenhuma empresa pode resolvê-la sozinha. Nossa intenção ao contribuir com o ROOST é ajudar outras empresas a aprimorar seus próprios classificadores de segurança. Continuaremos compartilhando e aprendendo com a comunidade ROOST à medida que avançamos juntos na detecção automatizada.