Roblox mang các mô hình an toàn mã nguồn mở đến cộng đồng ROOST Model

Roblox đang đóng góp ba mô hình an toàn mã nguồn mở cho Cộng đồng Mô hình Công cụ An toàn Trực tuyến Mở và Vững chắc (ROOST). Các mô hình này bao gồm các bản cập nhật cho Bộ phân loại PII mã nguồn mở, Roblox Sentinel và bộ phân loại an toàn giọng nói mới nhất của chúng tôi. Chúng tôi cũng đang chia sẻ mã nguồn mở một bộ dữ liệu đánh giá mới mà các công ty khác có thể sử dụng để so sánh hiệu suất với các mô hình phân loại của riêng họ. Các phiên bản của các mô hình này hiện đã được triển khai trên Roblox, giúp phát hiện các nỗ lực thu thập hoặc chia sẻ thông tin cá nhân, cảnh báo các dấu hiệu sớm về nguy cơ xâm hại trẻ em và kiểm duyệt cuộc trò chuyện giọng nói theo thời gian thực. 

Chúng tôi đã gia nhập ROOST với tư cách là thành viên sáng lập vào đầu năm 2025, cùng với Google, OpenAI và các công ty khác. Việc chia sẻ các mô hình này mang đến cho các nền tảng khác một điểm khởi đầu vững chắc để huấn luyện và tinh chỉnh các công cụ kiểm duyệt của riêng họ. Đổi lại, chúng tôi hy vọng sẽ được hưởng lợi từ những kinh nghiệm và phản hồi của các công ty khác khi họ chia sẻ công việc của mình.

Bảo vệ tính riêng tư của thông tin cá nhân

Bộ phân loại PII của Roblox được huấn luyện để phát hiện các nỗ lực của người chơi nhằm chia sẻ hoặc yêu cầu thông tin nhận dạng cá nhân (PII) hoặc chuyển người chơi sang các nền tảng khác, nơi các biện pháp bảo vệ có thể không mạnh mẽ bằng. Điều này bao gồm các nỗ lực nhằm tránh bị phát hiện thông qua việc viết sai chính tả, sử dụng từ mã hóa hoặc các tham chiếu mơ hồ đến các nền tảng khác. Thay vì tìm kiếm các từ trùng khớp chính xác, bộ phân loại này được xây dựng để hiểu bối cảnh hội thoại, giúp phát hiện các yêu cầu khó hiểu mà các bộ lọc tiêu chuẩn có thể bỏ sót. 

Phiên bản 2.0 mang đến một số cập nhật quan trọng: Dữ liệu huấn luyện và đánh giá hiện đã tích hợp bối cảnh hội thoại xung quanh, thay vì chỉ dựa vào các tin nhắn riêng lẻ có thể gây hiểu lầm. Việc đánh giá tin nhắn trong bối cảnh cuộc trò chuyện rộng hơn giúp phát hiện ý định chia sẻ hoặc yêu cầu cung cấp PII. Việc huấn luyện trên bộ ví dụ tổng hợp do LLM tạo ra, bao gồm các kịch bản vượt qua hệ thống phức tạp hơn và các trường hợp đa ngôn ngữ hiếm gặp, đã giúp chúng tôi mở rộng số lượng ngôn ngữ được hỗ trợ từ 17 lên 189. Chúng tôi cũng đã kết hợp các mô hình ngôn ngữ lớn (LLM) với tính năng lấy bối cảnh để trích xuất các mẫu liên quan từ bộ dữ liệu được gắn nhãn và chọn lọc. Hiện nay, độ chính xác và độ nhạy của phiên bản 2.0 đã vượt trội so với các kỹ thuật kiểm duyệt truyền thống — đặc biệt là đối với các nỗ lực vượt qua hệ thống tinh vi hơn. Ví dụ, nếu ai đó được hỏi về một máy chủ trên nền tảng khác, họ có thể che giấu câu trả lời của mình:

Người dùng: “it’s dscrd (dot) gg (slash) rblx-vibe-99,” 

Người dùng: “Giờ hãy thay (dot) bằng . và (slash) bằng /.”

Phiên bản 2.0 có thể hiểu bối cảnh của các tin nhắn đó khi kết hợp lại và ngăn chặn việc chia sẻ thông tin nhận dạng cá nhân (PII) có thể khiến người chơi rời khỏi Roblox. Nhờ vào việc mô phỏng tấn công tự động và tạo dữ liệu tổng hợp có mục tiêu, mô hình này còn giỏi hơn trong việc phân biệt việc chia sẻ PII tinh vi với các cuộc trò chuyện thông thường, đồng thời vẫn duy trì trải nghiệm người dùng tự nhiên. Công trình này đã nâng điểm F1 của chúng tôi từ 63,41 lên 90,52 — một cải thiện đáng kể so với phiên bản 1.0, vốn đã đạt điểm số cao nhất trên các tiêu chuẩn đánh giá nội bộ và mã nguồn mở.

Chia sẻ bộ dữ liệu đánh giá

Roblox PII Classifier Benchmark là bộ dữ liệu đánh giá mới dành cho các mô hình phân loại PII, bao gồm các mẫu tổng hợp từ các cuộc trò chuyện đa người dùng bằng tiếng Anh, được mô phỏng dựa trên các kỹ thuật thường được sử dụng để lách các bộ lọc PII. Các mẫu này là các mô phỏng do mô hình ngôn ngữ lớn (LLM) tạo ra, trong đó người chơi yêu cầu hoặc chia sẻ PII, hoặc hướng dẫn người chơi rời khỏi nền tảng. Các chiến lược bao gồm việc lách qua hệ thống bằng cách thay đổi phát âm, thay thế ký tự và hình ảnh, sử dụng ngôn ngữ mã hóa, và chia nhỏ thông tin qua các lượt trò chuyện. Chúng tôi cũng đã huấn luyện trên các trường hợp "hard negatives", chẳng hạn như các cuộc trò chuyện vô hại nhưng trông giống với các cuộc trò chuyện có chia sẻ hoặc yêu cầu PII.

Bộ dữ liệu này phản ánh các cuộc trò chuyện trực tuyến đa người dùng thực tế, trái ngược với các bộ dữ liệu hiện có thường tập trung vào việc trích xuất thực thể được đặt tên — một tập con nhỏ so với những gì các nền tảng thực sự gặp phải. Trong thực tế, các nỗ lực yêu cầu PII thường xuất hiện rất lâu trước khi có bất kỳ chuỗi PII nào có thể phát hiện được — ví dụ: một người chơi hỏi người khác, “wuts ur @ on the app with the ghost?” (tên người dùng của bạn trên ứng dụng có hình ma là gì?). Chúng tôi chia sẻ điểm chuẩn này để cộng đồng có thể kiểm tra và cải thiện Bộ phân loại PII của Roblox, giúp tất cả chúng ta tiến tới các biện pháp bảo vệ trực tuyến mạnh mẽ hơn nữa.

Phát hiện rủi ro càng sớm càng tốt

Roblox Sentinel được thiết kế để phát hiện các tín hiệu sớm về nguy cơ tiềm ẩn đối với trẻ em, trước khi các tin nhắn trở nên đủ rõ ràng để các hệ thống khác có thể phát hiện. Được xây dựng dựa trên học máy đối chiếu, Sentinel được huấn luyện trên các mẫu hội thoại cả vô hại lẫn có hại. Hệ thống so sánh các cuộc trò chuyện mới với các mẫu này để đánh dấu các dấu hiệu cảnh báo tinh vi cần xem xét trước khi chúng có thể leo thang. Sentinel cho phép các chuyên viên kiểm duyệt ưu tiên xử lý các cuộc trò chuyện có khả năng cần can thiệp cao nhất, từ đó họ có thể nhanh chóng xử lý tài khoản của người dùng vi phạm và báo cáo các trường hợp có vấn đề cho cơ quan chức năng có thẩm quyền. Tính đến 12 tháng kết thúc vào ngày 7 tháng 8 năm 2026, gần 70% các trường hợp chúng tôi phát hiện là nhờ khả năng phát hiện sớm của Sentinel, thường phát hiện các trường hợp này sớm hơn nhiều so với các phương pháp phát hiện khác.

Hôm nay, chúng tôi chính thức ra mắt phiên bản 2, giúp nâng cao độ chính xác bằng cách cung cấp nhiều phương thức kết hợp điểm số hơn, mở rộng từ hai hàm kết hợp lên sáu hàm, mỗi hàm phù hợp với một loại dữ liệu khác nhau. Dựa trên phản hồi từ cộng đồng ROOST, phiên bản 2 còn bổ sung các phương pháp mới để đánh giá hàm nào phù hợp nhất với từng trường hợp cụ thể, bao gồm cả giải thích lý do tại sao một nguồn dữ liệu lại được chấm điểm như vậy. Và bằng cách loại bỏ nhu cầu tính toán lại dữ liệu đánh giá cho từng thiết lập, phiên bản 2 giúp việc tìm kiếm giữa các lựa chọn đó trở nên khả thi. Trong một ví dụ, phiên bản 2 đã có thể hoàn thành việc quét qua 324 cấu hình trong vòng chưa đầy ba phút — trước đây, quá trình quét này sẽ mất gần một giờ. Nó cũng nâng chỉ số ROC-AUC (một thước đo tiêu chuẩn về chất lượng xếp hạng) từ 0,894 với cài đặt mặc định lên 0,996 với cấu hình tối ưu nhất được xác định. Những tối ưu hóa này sẽ giúp công cụ mã nguồn mở mới này dễ dàng hơn trong việc thử nghiệm và tinh chỉnh cho các trường hợp sử dụng cụ thể.

Kiểm soát an toàn giọng nói theo thời gian thực

Bộ phân loại an toàn ngôn ngữ của chúng tôi được thiết kế để phát hiện và báo cáo các phát ngôn không phù hợp theo thời gian thực. Khi một người chơi vi phạm một trong các quy tắc của chúng tôi, họ sẽ nhận được thông báo cảnh báo kèm theo thông tin về chính sách mà họ đã vi phạm. Nếu họ tiếp tục vi phạm quy tắc, quyền truy cập vào chat sẽ bị tạm ngưng trong tối đa năm phút. Người chơi có thể phải chịu các hình phạt nghiêm khắc hơn đối với các vi phạm nghiêm trọng hơn hoặc nếu người chơi khác gửi báo cáo chống lại họ. Bộ phân loại của chúng tôi đã được tải xuống hơn 72.000 lần kể từ khi chúng tôi phát hành mã nguồn mở vào năm 2024. 

Phiên bản 3 vừa được phát hành, có khả năng kiểm duyệt trò chuyện bằng giọng nói trên tổng cộng 30 ngôn ngữ và tám loại vi phạm với độ nhạy và độ chính xác cao hơn nữa. Trên tất cả 30 ngôn ngữ, hệ thống đạt độ nhạy 61% với tỷ lệ báo động sai nghiêm ngặt ở mức 1%. Hệ thống cũng tích hợp tính năng phát hiện ngôn ngữ tự động. Những cải tiến này được thúc đẩy bởi lượng dữ liệu huấn luyện có nhãn lớn hơn trên tất cả 30 ngôn ngữ được hỗ trợ — sử dụng nhãn tự động để đảm bảo khối lượng, sau đó là nhãn do con người thực hiện để đảm bảo chất lượng. Mặc dù mô hình cơ bản đã tăng từ 94,6 triệu lên 320 triệu tham số, chúng tôi đã sử dụng kỹ thuật chưng cất mô hình (model distillation) để đảm bảo tốc độ xử lý đủ nhanh cho việc phát hiện thời gian thực. 

An toàn là trách nhiệm chung — không có công ty nào có thể giải quyết vấn đề này một mình. Mục đích của chúng tôi khi đóng góp cho ROOST là giúp các công ty khác cải thiện các bộ phân loại an toàn của riêng họ. Chúng tôi sẽ tiếp tục chia sẻ và học hỏi từ cộng đồng ROOST trong quá trình cùng nhau phát triển công nghệ phát hiện tự động.