Roblox 將開源安全模型引入 ROOST 模型社群

Roblox 將向「強健開放式線上安全工具（ROOST）」模型社群貢獻三項開源安全模型。其中包括我們開源的「個人識別資訊（PII）分類器」更新版、Roblox Sentinel，以及我們最新的語音安全分類器。 我們同時也開放了一個新的評估資料集，供其他公司用來對其自身的分類器進行基準測試。這些模型的版本目前已在 Roblox 上運行，用於偵測索取或分享個人資訊的行為、標記兒童受威脅的早期徵兆，並即時管理語音聊天內容。 

我們於 2025 年初與 Google、OpenAI 及其他企業一同以創始成員身分加入 ROOST。分享這些模型能為其他平台提供堅實的起點，用以訓練和微調其自身的內容審核工具。反過來說，我們也希望從其他公司分享其成果時所獲得的經驗與回饋中受益。

保障個人資訊的隱私

Roblox 個人識別資訊（PII）分類器經過訓練，旨在偵測玩家試圖分享或索取個人識別資訊（PII），或是引導玩家轉移至其他平台（這些平台的保護措施可能不夠完善）的行為。這包括玩家試圖透過錯別字、暗語或對其他平台的隱晦提及來規避偵測的行為。該系統並非僅搜尋精確的字詞匹配，而是設計為能理解對話語境，藉此攔截標準過濾器可能漏檢的隱晦請求。 

2.0 版帶來了幾項重大更新：訓練與評估資料現已納入周邊對話語境，而非僅使用可能顯得模稜兩可的孤立訊息。 在更廣泛的對話脈絡中評估訊息，有助於偵測分享或索取 PII 的意圖。透過使用由大型語言模型（LLM）生成的合成範例進行訓練——這些範例涵蓋更複雜的規避情境及罕見的多語言案例——我們將支援的語言數量從 17 種擴展至 189 種。此外，我們還將大型語言模型與語境擷取技術結合，從經過精心整理的標記資料集中提取相關樣本。 如今，2.0 版的精準度與召回率已超越傳統審核技術——特別是在應對更複雜的規避嘗試時。舉例來說，若有人被問及另一個平台上的伺服器，可能會刻意模糊其回答：

使用者：「是 dscrd (點) gg (斜線) rblx-vibe-99」， 

使用者：「現在把 (dot) 替換成 .，(slash) 替換成 /。」

2.0 版能綜合理解這些訊息的上下文，並防止可能導致玩家離開 Roblox 的個人識別資訊（PII）外洩。 得益於自動化紅隊測試與針對性的合成數據生成，該模型在區分細微的 PII 分享與日常對話方面表現更佳，同時仍能維持自然的使用者體驗。這項工作將我們的 F1 分數從 63.41 提升至 90.52——相較於在內部及開源基準測試中均取得最高分數的 1.0 版，這是一項顯著的進步。

分享評估資料集

「Roblox PII 分類器基準測試」是一套針對 PII 分類器的新評估資料集，其中包含以英語多用戶聊天對話為模型的合成樣本，這些樣本模擬了常被用於規避 PII 過濾器的技術。這些樣本是由大型語言模型（LLM）生成的模擬對話，內容包含玩家索取或分享 PII，或是引導其他玩家離開平台。所採用的策略包括：音素繞過、字元與視覺替換、暗語，以及將資訊分散在不同對話輪次中。 我們還利用「困難負例」進行訓練，例如那些內容無害但外觀與包含 PII 分享或索取的對話極為相似的聊天記錄。

這套資料集反映了真實的多用戶線上聊天情境，有別於現有資料集通常僅聚焦於命名實體擷取——這僅是平台所見內容的一小部分。 實際上，索取 PII 的企圖往往在任何可偵測的 PII 字串出現之前便已顯露端倪——例如，一名玩家詢問另一名玩家：「你在那個有幽靈圖示的應用程式上的 @ 是什麼？」我們分享此基準測試，是為了讓社群能測試並改進 Roblox 的 PII 分類器，協助我們共同邁向更強大的線上保護機制。

盡早偵測風險

Roblox Sentinel 的設計旨在偵測潛在兒童受危害的早期徵兆，其偵測時機遠早於訊息內容明確到足以被其他系統偵測的階段。Sentinel 基於對比學習技術，透過訓練同時掌握無害對話與最終可能造成危害的對話模式。它會將新對話與這些模式進行比對，以標記出細微的警示徵兆，在情況惡化前提請審查。 Sentinel 讓人工審查員能優先處理最需要關注的對話，以便他們迅速對惡意用戶的帳戶採取行動，並將問題用戶通報給相關主管機關。截至 2026 年 8 月 7 日止的 12 個月內，我們偵測到的案例中近 70% 歸功於 Sentinel 的早期偵測，往往比其他偵測方法更早發現這些案例。

今日，我們正式推出第 2 版，透過提供更多分數組合方式來提升準確性，將組合函數從兩種擴增至六種，每種皆適用於不同類型的資料。第 2 版還整合了 ROOST 社群的回饋，新增了評估哪種函數最適合特定使用情境的方法，包括解釋來源為何會獲得該分數的說明。 此外，由於無需針對每種設定重新計算評估資料，第 2 版使跨設定搜尋變得切实可行。 以其中一個例子來說，第 2 版能在不到三分鐘內完成 324 種配置的全面掃描——這項掃描在先前版本中幾乎需要一小時才能完成。此外，ROC-AUC（排名品質的標準衡量指標）也從預設設定下的 0.894，提升至經識別出的最佳配置下的 0.996。這些優化措施應能讓這款新的開源工具更容易針對特定使用情境進行測試與調整。

即時調節語音安全性

我們的語音安全分類器旨在即時偵測並標記不當言論。當玩家違反我們的任一規則時，系統會顯示通知，向其發出警告並說明所違反的政策條款。若玩家持續違反規則，其聊天權限將被暫時停用，最長不超過五分鐘。若違反情節嚴重，或遭其他玩家舉報，玩家可能面臨更嚴厲的處分。 自 2024 年我們將此分類器開源以來，其下載次數已超過 72,000 次。 

近期發布的第 3 版，可對總計 30 種語言及 8 類違規行為進行語音聊天內容審查，且召回率與精準度均進一步提升。在所有 30 種語言中，該版本於嚴格的 1% 假陽性率下，達成 61% 的召回率。此外，該版本還新增了內建語言偵測功能。這些進步主要歸功於所有 30 種支援語言中標註訓練資料量的增加——先透過機器標註確保資料量，再由人工標註確保品質。 儘管底層模型的參數數量從 9,460 萬增加至 3.2 億，但我們透過模型蒸餾技術，確保其運算速度足以支援即時偵測。 

安全是共同的責任——沒有任何一家公司能夠獨自解決這個問題。我們貢獻 ROOST 的初衷，是為了協助其他公司改進其自身的安全分類器。在共同推動自動化偵測的過程中，我們將持續與 ROOST 社群分享經驗並互相學習。