Roblox、オープンソースの安全モデルをROOSTモデルコミュニティに提供

Robloxは、「Robust Open Online Safety Tools（ROOST）」モデルコミュニティに、3つのオープンソースの安全モデルを提供します。これには、当社のオープンソースPII分類器「Roblox Sentinel」の更新版と、最新の音声安全分類器が含まれます。 また、他社が自社の分類器のベンチマークに利用できる新しい評価データセットもオープンソース化しています。これらのモデルの各バージョンはすでにRoblox上で稼働しており、個人情報の要求や共有の試みを検知し、児童への危害の兆候を早期に特定し、ボイスチャットをリアルタイムでモデレートしています。 

当社は2025年初頭、GoogleやOpenAIなどと並んでROOSTの創設メンバーとして参加しました。これらのモデルを共有することで、他のプラットフォームは自社のモデレーションツールを学習・調整するための堅牢な出発点を得ることができます。また、他社がその成果を共有する中で得られる知見やフィードバックから、当社も恩恵を受けられることを期待しています。

個人情報の保護

RobloxのPII分類器は、プレイヤーが個人を特定できる情報（PII）を共有したり要求したり、あるいは保護体制が十分でない可能性のある他のプラットフォームへプレイヤーを誘導しようとする試みを検出するように訓練されています。これには、スペルミス、暗号化された言葉、または他のプラットフォームへの曖昧な言及を通じて検出を回避しようとする試みも含まれます。この分類器は、単語の完全一致を検索するのではなく、会話の文脈を理解するように構築されており、標準的なフィルターでは見逃されがちな隠語的な要求を捕捉するのに役立ちます。 

バージョン2.0では、いくつかの主要な更新が行われました。学習データおよび評価データには、曖昧に受け取られかねない孤立したメッセージではなく、周囲の会話文脈が組み込まれるようになりました。 より広範な会話の文脈でメッセージを評価することで、PIIを共有したり要求したりする意図を検出しやすくなりました。LLMが生成した、より複雑な回避シナリオや稀な多言語事例の合成例を用いたトレーニングにより、対応言語を17言語から189言語へと拡大することができました。また、LLMとコンテキスト取得機能を組み合わせ、厳選されたラベル付きデータセットから関連するサンプルを抽出できるようにしました。 現在、バージョン2.0の精度と再現率は、従来のモデレーション手法を上回っており、特に巧妙な回避試みに対してその効果が顕著です。例えば、別のプラットフォーム上のサーバーについて尋ねられた場合、ユーザーは回答を曖昧に表現することがあります：

ユーザー：「dscrd (ドット) gg (スラッシュ) rblx-vibe-99です」、 

ユーザー：「（ドット）を.に、（スラッシュ）を/に置き換えてください。」

バージョン2.0は、こうしたメッセージの文脈を総合的に理解し、プレイヤーをRobloxから追い出す可能性のあるPIIの共有を防止できます。 自動化されたレッドチーム攻撃とターゲットを絞った合成データの生成により、このモデルは、自然なユーザー体験を維持しつつ、微妙なニュアンスを含むPIIの共有と日常的な会話をより的確に見分けることができるようになりました。この取り組みにより、F1スコアは63.41から90.52へと向上し、社内およびオープンソースのベンチマークでトップスコアを記録したバージョン1.0に比べて大幅な改善が見られました。

評価データセットの公開

「Roblox PII Classifier Benchmark」は、PII分類器向けの新しい評価データセットであり、PIIフィルターを回避するためによく用いられる手法をモデル化した、英語によるマルチユーザーチャットの合成サンプルを含んでいます。これらのサンプルは、LLMによって生成されたシミュレーションであり、プレイヤーがPIIを要求・共有したり、他のプレイヤーをプラットフォーム外へ誘導したりする内容です。採用された戦略には、発音による回避、文字や視覚的要素の置換、暗号化された言語、会話のターンごとに分割された情報などが含まれます。 また、無害でありながら、PIIの共有や勧誘を含む会話と類似しているチャットなど、ハードネガティブデータについても学習を行いました。

このデータセットは、プラットフォーム上で実際に見られる情報のほんの一部に過ぎない「固有名詞抽出」に焦点を当てがちな既存のデータセットとは対照的に、現実的なマルチユーザーオンラインチャットを反映しています。 実際には、PIIの要求は、検出可能なPIIの文字列が現れるかなり前に現れることがよくあります。例えば、あるプレイヤーが別のプレイヤーに「幽霊のアイコンのアプリでの@は？」と尋ねるようなケースです。私たちは、コミュニティがRobloxのPII分類器をテストし、改善できるようにこのベンチマークを公開しています。これにより、私たち全員が、より強固なオンライン保護の実現に向けて前進できるようになります。

リスクを可能な限り早期に検知する

Roblox Sentinelは、メッセージが他のシステムで検出できるほど露骨になるはるか前に、児童への危害の可能性がある早期の兆候を検出するように設計されています。対比学習に基づいて構築されたSentinelは、無害な会話と、最終的に有害となる会話の両方のパターンで学習されています。新しい会話をそれらのパターンと比較し、事態が悪化する前に、微妙な警告サインを特定して審査対象としてフラグを立てます。 Sentinelにより、人間の審査担当者は注意を要する可能性が最も高いチャットを優先的に処理できるようになり、悪質なユーザーのアカウントに対して迅速に措置を講じ、問題のあるユーザーを適切な当局に通報することが可能になります。2026年8月7日までの12か月間で、当社が検出した事例の70％近くはSentinelによる早期検知によるものであり、多くの場合、他の検知手法よりもはるかに早い段階でこれらの事例を捕捉しています。

本日、バージョン2をリリースします。このバージョンでは、スコアの組み合わせ方を2つから6つに拡大し、それぞれが異なる種類のデータに適した組み合わせ関数を提供することで、精度を向上させています。ROOSTコミュニティからのフィードバックを取り入れ、バージョン2では、特定のユースケースに最適な関数を評価する新たな方法も追加されており、ソースがなぜそのスコアになったのかという説明も含まれています。 また、設定ごとに評価データを再計算する必要がなくなったことで、バージョン2ではこれらの選択肢を横断して検索することが現実的になりました。 一例として、バージョン2では324通りの設定に対する全組み合わせの検証を3分未満で完了することができました。これは以前であれば、1時間近くかかっていた作業です。また、ROC-AUC（ランキング品質の標準的な指標）も、デフォルト設定時の0.894から、最適な設定を特定した際の0.996へと向上しました。これらの最適化により、この新しいオープンソースツールを、特定のユースケースに合わせてテストや調整しやすくなるはずです。

音声の安全性をリアルタイムで調整する

当社のボイスセーフティ分類器は、不適切な発言をリアルタイムで検出してフラグを立てるように設計されています。プレイヤーが当社のルールに違反した場合、警告と、どのポリシーに違反したかに関する情報が記載された通知が表示されます。違反を続ける場合、チャットへのアクセスは最大5分間一時停止されます。重大な違反や、他のプレイヤーから報告があった場合、プレイヤーにはより厳しい措置が科されることがあります。 当社の分類器は、2024年にオープンソース化されて以来、72,000回以上ダウンロードされています。 

最近リリースされたバージョン3では、合計30言語、8つの違反カテゴリにわたるボイスチャットのモデレーションが可能となり、リコール率と精度がさらに向上しました。30言語すべてにおいて、厳格な1%の偽陽性率で61%のリコール率を達成しています。また、言語検出機能が組み込まれています。これらの向上は、サポートされている30言語すべてにおいて、ラベル付きトレーニングデータが増加したことによるものです。まず機械によるラベル付けで量を確保し、その後、人間によるラベル付けで品質を高めました。 基盤となるモデルのパラメータ数は9,460万から3億2,000万に増加しましたが、モデル蒸留技術を活用することで、リアルタイム検出に十分な処理速度を維持しました。 

安全性は共有すべき責任であり、一社だけで解決できるものではありません。ROOSTへの貢献を通じて、他社が自社の安全分類器を改善できるよう支援することが私たちの意図です。今後もROOSTコミュニティと情報を共有し、互いに学び合いながら、自動検出技術の進歩を共に推進していきます。