Roblox 将开源安全模型引入 ROOST 模型社区

Roblox 正向“稳健开放式在线安全工具”（ROOST）模型社区贡献三款开源安全模型。其中包括我们开源的 PII 分类器、Roblox Sentinel 以及最新语音安全分类器的更新版本。 此外，我们还开源了一个新的评估数据集，其他公司可借此对其自有分类器进行基准测试。这些模型的现行版本已在 Roblox 上运行，能够检测索取或分享个人信息的企图，标记儿童受威胁的早期迹象，并实时监管语音聊天。 

2025年初，我们与谷歌、OpenAI等公司一同作为创始成员加入了ROOST。分享这些模型为其他平台提供了强大的起点，以便它们训练和优化自己的内容审核工具。反过来，我们也希望从其他公司分享的工作成果中获得经验和反馈。

保护个人信息隐私

Roblox 个人身份信息（PII）分类器经过训练，可检测玩家试图分享或索取个人身份信息（PII），或诱导玩家转移至其他平台（这些平台的保护措施可能不够完善）的行为。这包括通过错别字、暗语或对其他平台的隐晦提及来规避检测的企图。该系统并非单纯搜索精确的词语匹配，而是旨在理解对话语境，从而帮助其捕捉标准过滤器可能遗漏的隐晦请求。 

2.0 版本带来了多项重大更新：训练和评估数据现已纳入周边对话语境，而非可能显得模棱两可的孤立消息。 在更广泛的对话语境中评估消息，有助于检测分享或索取 PII 的意图。通过基于 LLM 生成的合成示例集进行训练——这些示例涵盖更复杂的规避场景和罕见的多语言案例——我们成功将支持的语言数量从 17 种扩展至 189 种。此外，我们还将 LLM 与上下文提取功能相结合，从经过精心整理的标注数据集中提取相关样本。 如今，2.0 版的精确率和召回率已超越传统审核技术——特别是在应对更复杂的规避尝试时。例如，当有人被问及另一个平台上的服务器时，他们可能会刻意模糊回答：

用户：“是 dscrd（点）gg（斜杠）rblx-vibe-99”， 

用户：“现在把 (dot) 替换成 .，把 (slash) 替换成 /。”2.0

版本能够综合理解这些消息的上下文，从而防止可能导致玩家离开 Roblox 的个人身份信息（PII）被泄露。 得益于自动化的红队攻击和针对性的合成数据生成，该模型在区分细微的 PII 分享与日常闲聊方面表现得更为出色，同时保持了自然的用户体验。这项工作将我们的 F1 分数从 63.41 提升至 90.52——相较于在内部和开源基准测试中均取得最高分的 1.0 版，这实现了显著的提升。

共享评估数据集

Roblox PII 分类器基准（Roblox PII Classifier Benchmark）是一套针对 PII 分类器的新评估数据集，其中包含基于常用于规避 PII 过滤器技术而模拟的英语多用户聊天合成样本。这些样本由大型语言模型（LLM）生成，模拟了玩家索要或分享 PII，或引导其他玩家离开平台的情景。所采用的策略包括语音绕过、字符和视觉替换、暗语，以及在对话轮次中拆分信息等。 我们还利用“硬负样本”进行了训练，例如那些内容无害但外观与包含 PII 共享或索取的对话相似的聊天记录。

该数据集反映了真实的多人在线聊天场景，而现有数据集往往侧重于命名实体提取——这仅是平台所见内容的一个小子集。 实际上，索取个人身份信息的企图往往在任何可检测到的个人身份信息字符串出现之前就已显现——例如，一名玩家问另一名玩家：“你在那个带幽灵图标的应用里用什么@？”我们分享这一基准数据，以便社区能够测试并改进 Roblox 的个人身份信息分类器，帮助我们共同迈向更强大的在线保护。

尽早识别风险

Roblox Sentinel 旨在检测潜在儿童受威胁的早期信号，其检测时机远早于消息内容明确到足以被其他系统识别之时。Sentinel 基于对比学习构建，通过训练掌握了良性对话与最终可能造成伤害的对话模式。它会将新对话与这些模式进行比对，从而在问题升级前标记出微妙的预警信号以供审核。 Sentinel 使人工审核员能够优先处理最需要关注的聊天记录，从而快速对不良用户账户采取行动，并将问题用户上报给相关主管部门。截至 2026 年 8 月 7 日的 12 个月内，我们检测到的案例中近 70% 归功于 Sentinel 的早期检测，其发现这些案例的时间往往比其他检测方法早得多。

今天，我们发布了 2.0 版本，该版本通过提供更多分数组合方式来提高准确率，将组合函数从 2 个扩展到 6 个，每个函数都适用于不同类型的数据。2.0 版本还采纳了 ROOST 社区的反馈，新增了评估哪种函数最适合特定用例的方法，包括对数据源得分原因的解释。 此外，由于无需针对每种设置重新计算评估数据，版本 2 使得跨选项搜索变得切实可行。 以一个示例为例，第 2 版能在不到三分钟内完成对 324 种配置的全面扫描——而此前该扫描需耗时近一小时。此外，ROC-AUC（一种衡量排序质量的标准指标）也从默认设置下的 0.894 提升至最佳配置下的 0.996。这些优化措施应能使这款新的开源工具更易于针对具体用例进行测试和调优。

实时调节语音安全性

我们的语音安全分类器旨在实时检测并标记不当言论。当玩家违反我们的规则时，系统会向其显示一条通知，既发出警告，也会说明其违反了哪项政策。若玩家继续违规，其聊天权限将被暂时暂停，最长可达五分钟。对于严重违规行为，或当其他玩家对其进行举报时，玩家可能会面临更严厉的处罚。 自 2024 年开源以来，我们的分类器已被下载超过 72,000 次。 

最新发布的第 3 版支持 30 种语言和 8 类违规行为的语音聊天审核，召回率和精确率均进一步提升。在所有 30 种语言中，该版本在严格的 1% 误报率下实现了 61% 的召回率。此外，该版本还新增了内置语言检测功能。这些进步得益于所有 30 种支持语言中更多标注训练数据的投入——先通过机器标注确保数据量，再由人工标注保证质量。 尽管底层模型的参数数量从 9460 万增加到 3.2 亿，但我们通过模型蒸馏技术确保其运行速度足以满足实时检测需求。 

安全是共同的责任——没有任何一家公司能够独自解决。我们向 ROOST 项目贡献代码的初衷，是帮助其他公司改进其安全分类器。在共同推进自动化检测的过程中，我们将继续与 ROOST 社区分享经验并从中学习。