Roblox incorpora modelos de seguridad de código abierto a la comunidad de modelos ROOST

Roblox aporta tres modelos de seguridad de código abierto a la comunidad de modelos Robust Open Online Safety Tools (ROOST). Entre ellos se incluyen actualizaciones de nuestro clasificador de información de identificación personal (PII) de código abierto, Roblox Sentinel, y nuestro último clasificador de seguridad de voz. También estamos publicando en código abierto un nuevo conjunto de datos de evaluación que otras empresas pueden utilizar para comparar el rendimiento de sus propios clasificadores. Ya hay versiones de estos modelos en funcionamiento en Roblox, que detectan intentos de solicitar o compartir información personal, señalan los primeros indicios de situaciones de riesgo para los menores y moderan el chat de voz en tiempo real. 

Nos unimos a ROOST como miembro fundador a principios de 2025, junto con Google, OpenAI y otras empresas. Compartir estos modelos ofrece a otras plataformas un punto de partida sólido para entrenar y ajustar sus propias herramientas de moderación. A su vez, esperamos beneficiarnos de los conocimientos y los comentarios de otras empresas a medida que compartan su trabajo.

Mantener la información personal en la esfera privada

El clasificador de información de identificación personal (PII) de Roblox está entrenado para detectar los intentos de los jugadores de compartir o solicitar información de identificación personal (PII) o de trasladar a otros jugadores a otras plataformas, donde las medidas de protección pueden no ser tan sólidas. Esto incluye los intentos de eludir la detección mediante errores ortográficos, palabras en clave o referencias veladas a otras plataformas. En lugar de buscar coincidencias exactas de palabras, está diseñado para comprender el contexto conversacional, lo que le ayuda a detectar solicitudes crípticas que los filtros estándar podrían pasar por alto. 

La versión 2.0 incorpora varias actualizaciones importantes: los datos de entrenamiento y evaluación ahora incluyen el contexto conversacional circundante, en lugar de mensajes aislados que podrían parecer ambiguos. Evaluar los mensajes en el contexto de una conversación más amplia ayuda a detectar la intención de compartir o solicitar datos personales identificables. El entrenamiento con un conjunto de ejemplos sintéticos generados por un modelo de lenguaje grande (LLM) —que incluyen escenarios de elusión más complejos y casos multilingües poco frecuentes— nos ha ayudado a ampliar el número de idiomas que admitimos de 17 a 189. También hemos combinado los modelos de lenguaje grande con la obtención de contexto para extraer muestras relevantes de un conjunto seleccionado de datos etiquetados. Hoy en día, la precisión y la recuperación de la versión 2.0 superan a las técnicas de moderación tradicionales, especialmente en los intentos de elusión más sofisticados. Por ejemplo, si se le pregunta a alguien por un servidor en otra plataforma, podría ocultar su respuesta:

Usuario: «es dscrd (punto) gg (barra) rblx-vibe-99», 

Usuario: «Ahora sustituye (punto) por . y (barra) por /». La

versión 2.0 es capaz de comprender el contexto de esos mensajes en su conjunto y evitar que se compartan datos de identificación personal (PII) que podrían hacer que un jugador abandonara Roblox. Gracias a las pruebas de ataque automatizadas y a la generación de datos sintéticos específicos, el modelo distingue aún mejor el intercambio sutil de información de identificación personal de la conversación informal, al tiempo que preserva una experiencia de usuario natural. Este trabajo ha elevado nuestra puntuación F1 de 63,41 a 90,52, lo que supone una mejora significativa con respecto a la versión 1.0, que ya alcanzaba las puntuaciones más altas en pruebas de rendimiento internas y de código abierto.

Compartir un conjunto de datos de evaluación

El «Roblox PII Classifier Benchmark» es un nuevo conjunto de datos de evaluación para clasificadores de PII con muestras sintéticas de chats multiusuario en inglés, modeladas a partir de técnicas que suelen utilizarse para eludir los filtros de PII. Las muestras son simulaciones generadas por modelos de lenguaje grande (LLM) en las que los jugadores solicitan o comparten PII, o bien dirigen a otros jugadores fuera de la plataforma. Las estrategias incluían eludir los filtros mediante fonética, la sustitución de caracteres y elementos visuales, el lenguaje codificado y la división de la información a lo largo de los turnos de conversación. También hemos entrenado con «negativos difíciles», como chats que son inofensivos pero que se parecen a conversaciones en las que se comparte o se solicita PII.

Este conjunto de datos refleja un chat en línea multiusuario realista, a diferencia de los conjuntos de datos existentes que a menudo se centran en la extracción de entidades nombradas —un pequeño subconjunto de lo que ven las plataformas—. En la práctica, los intentos de solicitar información de identificación personal suelen aparecer mucho antes de que aparezca cualquier cadena detectable de dicha información; por ejemplo, un jugador que le pregunta a otro: «¿cuál es tu @ en la app del fantasma?». Compartimos este punto de referencia para que la comunidad pueda probar y mejorar el clasificador de información de identificación personal de Roblox, lo que nos ayudará a todos a avanzar hacia unas protecciones en línea aún más sólidas.

Detectar el riesgo lo antes posible

Roblox Sentinel está diseñado para detectar señales tempranas de un posible peligro para los menores, mucho antes de que los mensajes sean lo suficientemente explícitos como para que otros sistemas los detecten. Basado en el aprendizaje contrastivo, Sentinel se entrena con patrones tanto de conversaciones inofensivas como de aquellas que, a la larga, pueden resultar perjudiciales. Compara las nuevas conversaciones con esos patrones para señalar sutiles señales de alerta que deben revisarse antes de que la situación se agrave. Sentinel permite a los revisores humanos dar prioridad a los chats que con mayor probabilidad requieran atención, de modo que puedan tomar medidas rápidamente sobre las cuentas de los usuarios malintencionados y denunciar a los usuarios problemáticos a las autoridades competentes. En los 12 meses finalizados el 7 de agosto de 2026, casi el 70 % de los casos que detectamos se debieron a la detección temprana de Sentinel, que a menudo detectaba estos casos mucho antes que otros métodos de detección.

Hoy lanzamos la versión 2, que aumenta la precisión al ofrecer más formas de combinar puntuaciones, ampliando de dos a seis las funciones de combinación, cada una adaptada a un tipo diferente de datos. Incorporando los comentarios de la comunidad ROOST, la versión 2 también añade nuevas formas de evaluar qué función se adapta mejor a un caso de uso concreto, incluyendo explicaciones de por qué una fuente obtuvo la puntuación que obtuvo. Además, al eliminar la necesidad de volver a calcular los datos de evaluación para cada configuración, la versión 2 hace que la búsqueda entre esas opciones resulte práctica. Por ejemplo, la versión 2 fue capaz de completar un barrido de 324 configuraciones en menos de tres minutos; ese barrido habría tardado anteriormente casi una hora. También elevó el ROC-AUC (una medida estándar de la calidad de la clasificación) de 0,894 con la configuración predeterminada a 0,996 con la mejor configuración identificada. Estas optimizaciones deberían facilitar la prueba y el ajuste de esta nueva herramienta de código abierto para casos de uso específicos.

Moderación de la seguridad de las voces en tiempo real

Nuestro clasificador de seguridad en el chat está diseñado para detectar y señalar comentarios inapropiados en tiempo real. Cuando un jugador incumple una de nuestras normas, recibe una notificación en la que se le advierte y se le informa de qué norma ha infringido. Si sigue incumpliendo las normas, se le suspenderá temporalmente el acceso al chat durante un máximo de cinco minutos. Los jugadores pueden enfrentarse a consecuencias más severas en caso de infracciones graves o si otros jugadores presentan denuncias contra ellos. Nuestro clasificador se ha descargado más de 72 000 veces desde que lo convertimos en código abierto en 2024. 

La versión 3, lanzada recientemente, modera el chat de voz en un total de 30 idiomas y ocho categorías de infracciones con una precisión y una tasa de recuperación aún mayores. En los 30 idiomas, alcanza una tasa de recuperación del 61 % con una tasa de falsos positivos estrictamente limitada al 1 %. También incorpora detección de idioma integrada. Estas mejoras se han logrado gracias a un mayor volumen de datos de entrenamiento etiquetados en los 30 idiomas compatibles: etiquetado automático para el volumen y, posteriormente, etiquetado humano para garantizar la calidad. Aunque el modelo subyacente pasó de 94,6 millones a 320 millones de parámetros, utilizamos la destilación de modelos para mantener la velocidad suficiente para la detección en tiempo real. 

La seguridad es una responsabilidad compartida: ninguna empresa puede resolverla por sí sola. Nuestra intención al contribuir a ROOST es ayudar a otras empresas a mejorar sus propios clasificadores de seguridad. Seguiremos compartiendo y aprendiendo de la comunidad ROOST a medida que avanzamos juntos en la detección automatizada.