Roblox, ROOST 모델 커뮤니티에 오픈소스 안전 모델 제공

Roblox는 ROOST(Robust Open Online Safety Tools) 모델 커뮤니티에 세 가지 오픈소스 안전 모델을 기여하고 있습니다. 여기에는 오픈소스 PII 분류기, Roblox Sentinel 및 최신 음성 안전 분류기의 업데이트가 포함됩니다. 또한 다른 기업들이 자체 분류기의 성능을 평가하는 데 활용할 수 있는 새로운 평가 데이터셋도 오픈소스로 공개합니다. 이 모델들의 버전은 이미 로블록스에서 가동 중이며, 개인정보를 요구하거나 공유하려는 시도를 탐지하고, 아동 위험의 초기 징후를 식별하며, 음성 채팅을 실시간으로 모니터링하고 있습니다. 

저희는 2025년 초, 구글, 오픈AI 등 다른 기업들과 함께 ROOST의 창립 멤버로 참여했습니다. 이러한 모델을 공유함으로써 다른 플랫폼들이 자체 관리 도구를 훈련하고 최적화할 수 있는 견고한 출발점을 제공하게 됩니다. 또한, 다른 기업들이 자신들의 성과를 공유함에 따라 그로부터 얻은 교훈과 피드백을 통해 저희도 혜택을 얻기를 희망합니다.

개인정보의 사생활 보호

Roblox PII 분류기는 플레이어가 개인 식별 정보(PII)를 공유하거나 요청하려는 시도, 또는 보안이 충분히 보장되지 않을 수 있는 다른 플랫폼으로 플레이어를 유도하려는 시도를 탐지하도록 훈련되었습니다. 여기에는 오타, 암호화된 단어, 또는 다른 플랫폼에 대한 모호한 언급을 통해 탐지를 우회하려는 시도도 포함됩니다. 이 분류기는 정확한 단어 일치를 검색하기보다는 대화 맥락을 이해하도록 설계되어, 표준 필터로는 놓칠 수 있는 은밀한 요청도 포착할 수 있습니다. 

버전 2.0에는 몇 가지 주요 업데이트가 포함됩니다. 이제 훈련 및 평가 데이터에는 모호해 보일 수 있는 단편적인 메시지 대신, 주변 대화 맥락이 반영됩니다. 더 넓은 대화 맥락에서 메시지를 평가함으로써 PII를 공유하거나 요구하려는 의도를 탐지하는 데 도움이 됩니다. LLM이 생성한 더 복잡한 우회 시나리오와 드문 다국어 사례에 대한 합성 예제 세트를 활용한 훈련을 통해 지원 언어 수를 17개에서 189개로 확대할 수 있었습니다. 또한 LLM에 맥락 추출 기능을 결합하여 선별된 라벨링 데이터 세트에서 관련 샘플을 추출하도록 했습니다. 현재 버전 2.0의 정밀도와 재현율은 기존 검토 기법보다 향상되었으며, 특히 더욱 정교한 우회 시도에서 그 효과가 두드러집니다. 예를 들어, 누군가 다른 플랫폼의 서버에 대해 질문을 받으면 답변을 모호하게 표현할 수 있습니다.

사용자: “it’s dscrd (dot) gg (slash) rblx-vibe-99,” 

사용자: “이제 (dot)을 .로, (slash)를 /로 바꿔 주세요.”

버전 2.0은 이러한 메시지들의 맥락을 종합적으로 이해하여, 플레이어가 Roblox를 떠나게 할 수 있는 개인 식별 정보(PII)의 공유를 방지할 수 있습니다. 자동화된 레드팀 공격 시뮬레이션과 표적화된 합성 데이터 생성 덕분에, 이 모델은 자연스러운 사용자 경험을 유지하면서도 일상적인 대화와 미묘한 차이의 PII 공유를 더욱 정확하게 구분해 냅니다. 이를 통해 F1 점수가 63.41에서 90.52로 상승했으며, 이는 내부 및 오픈소스 벤치마크 전반에서 최고 점수를 기록한 버전 1.0에 비해 상당한 개선을 이룬 것입니다.

평가 데이터 세트 공유

‘Roblox PII Classifier Benchmark’는 PII 필터를 우회하는 데 흔히 사용되는 기법을 모델로 한 영어 다중 사용자 채팅의 합성 샘플을 포함하는, PII 분류기를 위한 새로운 평가 데이터 세트입니다. 이 샘플들은 플레이어가 PII를 요청하거나 공유하거나, 다른 플레이어를 플랫폼 밖으로 유도하는 상황을 LLM(대규모 언어 모델)로 생성한 시뮬레이션입니다. 여기에는 발음 우회, 문자 및 시각적 대체, 암호화된 언어, 대화 턴 간 정보 분할 등의 전략이 포함되었습니다. 또한 무해하지만 PII 공유나 요청이 포함된 대화와 유사해 보이는 채팅과 같은 ‘하드 네거티브(hard negatives)’ 데이터로도 모델을 훈련시켰습니다.

이 데이터셋은 플랫폼에서 처리하는 전체 데이터의 극히 일부에 불과한 명명된 개체 추출(NEE)에 주로 초점을 맞추는 기존 데이터셋과 달리, 현실적인 다중 사용자 온라인 채팅을 반영합니다. 실제로, PII를 요구하려는 시도는 감지 가능한 PII 문자열이 나타나기 훨씬 전에 종종 나타납니다. 예를 들어, 한 플레이어가 다른 플레이어에게 “유령이 나오는 앱에서 네 @는 뭐야?”라고 묻는 경우입니다. 저희는 커뮤니티가 Roblox의 PII 분류기를 테스트하고 개선하여, 우리 모두가 더욱 강력한 온라인 보호 체계를 구축할 수 있도록 돕기 위해 이 벤치마크를 공유합니다.

가능한 한 조기에 위험 감지

Roblox Sentinel은 메시지가 다른 시스템이 감지할 수 있을 만큼 노골적으로 드러나기 훨씬 전에, 잠재적인 아동 위험 신호를 조기에 감지하도록 설계되었습니다. 대조 학습을 기반으로 하는 Sentinel은 무해한 대화와 궁극적으로 해로운 대화의 패턴 모두를 학습합니다. 이 시스템은 새로운 대화를 해당 패턴과 비교하여, 상황이 악화되기 전에 미묘한 경고 신호를 식별하고 검토 대상으로 표시합니다. 센티넬을 통해 인간 검토자는 주의가 가장 필요한 채팅을 우선순위로 지정할 수 있으므로, 문제 사용자의 계정에 대해 신속하게 조치를 취하고 해당 사용자를 관련 당국에 신고할 수 있습니다. 2026년 8월 7일로 종료된 12개월 동안, 저희가 탐지한 사례의 약 70%는 센티넬의 조기 탐지 덕분이었으며, 다른 탐지 방법보다 훨씬 더 빨리 이러한 사례를 포착한 경우가 많았습니다.

오늘, 저희는 버전 2를 출시합니다. 이 버전은 점수를 결합하는 방법을 두 가지에서 여섯 가지로 확대하여 정확도를 높였으며, 각 결합 함수는 서로 다른 유형의 데이터에 적합하게 설계되었습니다. 또한 ROOST 커뮤니티의 피드백을 반영하여, 특정 사용 사례에 가장 적합한 함수를 평가하는 새로운 방법을 추가했으며, 여기에는 특정 소스가 왜 특정 점수를 받았는지에 대한 설명도 포함됩니다. 또한 각 설정에 대해 평가 데이터를 재계산할 필요가 없어짐에 따라, 버전 2에서는 이러한 선택지들을 가로지르는 검색이 실질적으로 가능해졌습니다. 한 예로, 버전 2는 324가지 구성에 대한 전체 검증을 3분도 채 걸리지 않아 완료할 수 있었는데, 이전에는 이 작업에 거의 1시간이 소요되었을 것입니다. 또한 ROC-AUC(순위 품질의 표준 측정 지표)를 기본 설정 시 0.894에서 최적의 구성을 적용했을 때 0.996으로 향상시켰습니다. 이러한 최적화를 통해 이 새로운 오픈소스 도구를 특정 사용 사례에 맞춰 더 쉽게 테스트하고 조정할 수 있게 될 것입니다.

실시간 음성 안전 관리

당사의 음성 안전 분류기는 부적절한 발언을 실시간으로 감지하고 표시하도록 설계되었습니다. 플레이어가 당사의 규칙 중 하나를 위반하면, 경고와 함께 어떤 정책을 위반했는지에 대한 정보가 포함된 알림이 표시됩니다. 계속해서 규칙을 위반할 경우, 채팅 이용 권한이 최대 5분 동안 일시 정지됩니다. 중대한 위반이 있거나 다른 플레이어가 해당 플레이어를 신고할 경우, 더 엄중한 조치가 취해질 수 있습니다. 당사의 분류기는 2024년 오픈소스로 공개된 이후 72,000회 이상 다운로드되었습니다. 

최근 출시된 버전 3은 총 30개 언어와 8가지 위반 범주에 걸쳐 음성 채팅을 관리하며, 리콜과 정밀도가 더욱 향상되었습니다. 30개 언어 전체에서 엄격한 1% 오탐률 기준 61%의 리콜을 달성했습니다. 또한 내장형 언어 감지 기능도 추가되었습니다. 이러한 성과는 지원되는 30개 언어 전반에 걸쳐 더 많은 라벨링된 훈련 데이터가 확보된 데 기인하며, 양을 확보하기 위해 기계 라벨링을 먼저 수행한 후 품질을 높이기 위해 사람이 직접 라벨링을 진행했습니다. 기본 모델의 매개변수가 9,460만 개에서 3억 2,000만 개로 증가했음에도 불구하고, 모델 증류 기법을 활용하여 실시간 탐지에 충분한 속도를 유지했습니다. 

안전은 공동의 책임이며, 어느 기업도 혼자서 해결할 수 없습니다. ROOST에 기여하는 우리의 목적은 다른 기업들이 자체 안전 분류기를 개선할 수 있도록 돕는 것입니다. 우리는 함께 자동 탐지 기술을 발전시켜 나가며, ROOST 커뮤니티와 지속적으로 정보를 공유하고 배워나갈 것입니다.