Roblox wprowadza modele bezpieczeństwa typu open source do społeczności ROOST Model Community

Roblox udostępnia trzy modele bezpieczeństwa typu open source społeczności Robust Open Online Safety Tools (ROOST) Model Community. Obejmują one aktualizacje naszego klasyfikatora danych osobowych typu open source, Roblox Sentinel oraz naszego najnowszego klasyfikatora bezpieczeństwa głosowego. Udostępniamy również na licencji open source nowy zbiór danych ewaluacyjnych, który inne firmy mogą wykorzystać do testowania swoich własnych klasyfikatorów. Wersje tych modeli działają już na platformie Roblox, wykrywając próby wyłudzania lub udostępniania danych osobowych, sygnalizując wczesne oznaki zagrożenia dla dzieci oraz moderując czat głosowy w czasie rzeczywistym. 

Dołączyliśmy do ROOST jako członek założyciel na początku 2025 roku, wraz z Google, OpenAI i innymi firmami. Udostępnienie tych modeli daje innym platformom solidną podstawę do szkolenia i dostrajania własnych narzędzi moderacyjnych. Z kolei mamy nadzieję skorzystać z wiedzy i opinii innych firm, które dzielą się wynikami swoich prac.

Ochrona danych osobowych

Klasyfikator danych osobowych Roblox został wyszkolony do wykrywania prób udostępniania lub żądania przez graczy danych osobowych (PII) oraz nakłaniania graczy do przejścia na inne platformy, gdzie zabezpieczenia mogą nie być tak solidne. Obejmuje to próby ominięcia wykrywania poprzez błędy ortograficzne, zakodowane słowa lub niejasne odniesienia do innych platform. Zamiast wyszukiwać dokładne dopasowania słów, klasyfikator został zaprojektowany tak, aby rozumieć kontekst rozmowy, co pomaga mu wychwycić tajemnicze prośby, które standardowe filtry mogłyby przeoczyć. 

Wersja 2.0 wprowadza kilka istotnych zmian: dane szkoleniowe i ewaluacyjne uwzględniają teraz kontekst rozmowy, a nie pojedyncze wiadomości, które mogłyby wydawać się niejednoznaczne. Ocena wiadomości w kontekście szerszej rozmowy pomaga wykrywać zamiar udostępniania lub wyłudzania danych osobowych. Trening na wygenerowanym przez model LLM zestawie syntetycznych przykładów bardziej złożonych scenariuszy obejścia oraz rzadkich przypadków wielojęzycznych pomógł nam zwiększyć liczbę obsługiwanych języków z 17 do 189. Połączyliśmy również modele LLM z funkcją pobierania kontekstu, aby wyodrębniać odpowiednie próbki z wyselekcjonowanego zestawu danych opatrzonych etykietami. Obecnie precyzja i odzyskiwalność wersji 2.0 przewyższają tradycyjne techniki moderacji – szczególnie w przypadku bardziej wyrafinowanych prób obejścia zabezpieczeń. Na przykład, jeśli ktoś zostanie zapytany o serwer na innej platformie, może zamaskować swoją odpowiedź:

Użytkownik: „to jest dscrd (kropka) gg (ukośnik) rblx-vibe-99”, 

Użytkownik: „teraz zamień (kropkę) na ., a (ukośnik) na /”.

Wersja 2.0 potrafi zrozumieć kontekst tych wiadomości łącznie i zapobiec udostępnianiu danych osobowych (PII), które mogłyby spowodować odejście gracza z Roblox. Dzięki zautomatyzowanym testom typu „red team” oraz ukierunkowanemu generowaniu danych syntetycznych model jeszcze lepiej rozróżnia subtelne przypadki ujawniania danych osobowych od zwykłej rozmowy, zachowując jednocześnie naturalne wrażenia użytkownika. Prace te pozwoliły nam podnieść wynik F1 z 63,41 do 90,52 — co stanowi znaczną poprawę w stosunku do wersji 1.0, która osiąga najwyższe wyniki w wewnętrznych i otwartych testach porównawczych.

Udostępnienie zbioru danych ewaluacyjnych

Roblox PII Classifier Benchmark to nowy zbiór danych ewaluacyjnych dla klasyfikatorów danych osobowych, zawierający syntetyczne próbki wieloużytkownikowych czatów w języku angielskim, wzorowane na technikach często stosowanych w celu ominięcia filtrów danych osobowych. Próbki te to wygenerowane przez modele LLM symulacje sytuacji, w których gracze proszą o podanie danych osobowych, udostępniają je lub nakłaniają innych graczy do opuszczenia platformy. Stosowane strategie obejmowały obejścia fonetyczne, zastępowanie znaków i elementów wizualnych, język kodowany oraz rozdzielanie informacji na poszczególne tury rozmowy. Przeprowadziliśmy również szkolenie na trudnych przykładach negatywnych, takich jak czaty, które są nieszkodliwe, ale wyglądają podobnie do rozmów zawierających udostępnianie lub wyłudzanie danych osobowych.

Ten zbiór danych odzwierciedla realistyczne czaty internetowe z udziałem wielu użytkowników, w przeciwieństwie do istniejących zbiorów danych, które często skupiają się na ekstrakcji nazwanych encji – co stanowi niewielki podzbiór tego, co widzą platformy. W praktyce próby wyłudzenia danych osobowych często pojawiają się na długo przed wykrywalnym ciągiem znaków zawierającym dane osobowe – na przykład gracz pyta innego: „jakie masz @ w tej aplikacji z duchem?”. Udostępniamy ten benchmark, aby społeczność mogła przetestować i udoskonalić klasyfikator danych osobowych Roblox, pomagając nam wszystkim dążyć do jeszcze silniejszej ochrony w sieci.

Wykrywanie ryzyka jak najwcześniej

Roblox Sentinel został zaprojektowany w celu wykrywania wczesnych sygnałów potencjalnego zagrożenia dla dzieci, na długo przed tym, zanim wiadomości staną się na tyle jednoznaczne, by mogły je wykryć inne systemy. Oparty na uczeniu kontrastowym, Sentinel jest szkolony na wzorcach zarówno nieszkodliwych, jak i potencjalnie szkodliwych rozmów. Porównuje nowe rozmowy z tymi wzorcami, aby oznaczyć subtelne sygnały ostrzegawcze do weryfikacji, zanim sytuacja się pogorszy. Sentinel pozwala ludzkim recenzentom nadawać priorytet czatom, które najprawdopodobniej wymagają uwagi, dzięki czemu mogą oni szybko podjąć działania wobec kont nieuczciwych użytkowników i zgłaszać problematycznych użytkowników odpowiednim organom. W okresie 12 miesięcy zakończonym 7 sierpnia 2026 r. prawie 70% wykrytych przez nas przypadków wynikało z wczesnego wykrycia przez Sentinel, który często wychwytywał te przypadki znacznie wcześniej niż inne metody wykrywania.

Dzisiaj wprowadzamy wersję 2, która zwiększa dokładność, oferując więcej sposobów łączenia wyników – liczba funkcji łączących wzrosła z dwóch do sześciu, a każda z nich jest dostosowana do innego typu danych. Uwzględniając opinie społeczności ROOST, wersja 2 wprowadza również nowe sposoby oceny, która funkcja najlepiej pasuje do danego przypadku użycia, w tym wyjaśnienia, dlaczego dane źródło uzyskało taki, a nie inny wynik. Ponadto, eliminując konieczność ponownego obliczania danych ewaluacyjnych dla każdego ustawienia, wersja 2 sprawia, że przeszukiwanie tych opcji staje się praktyczne. W jednym z przykładów wersja 2 była w stanie przeprowadzić przegląd 324 konfiguracji w mniej niż trzy minuty — wcześniej taki przegląd trwałby prawie godzinę. Podniosła również wskaźnik ROC-AUC (standardowy miernik jakości rankingu) z 0,894 przy ustawieniach domyślnych do 0,996 przy zidentyfikowanej najlepszej konfiguracji. Te optymalizacje powinny ułatwić testowanie i dostosowywanie tego nowego narzędzia typu open source do konkretnych przypadków użycia.

Moderowanie bezpieczeństwa głosowego w czasie rzeczywistym

Nasz klasyfikator bezpieczeństwa wypowiedzi został stworzony w celu wykrywania i oznaczania nieodpowiednich wypowiedzi w czasie rzeczywistym. Gdy gracz złamie jedną z naszych zasad, otrzyma powiadomienie zawierające ostrzeżenie oraz informację o tym, którą zasadę naruszył. Jeśli nadal będzie łamał zasady, dostęp do czatu zostanie tymczasowo zawieszony na maksymalnie pięć minut. Gracze mogą ponieść surowsze konsekwencje w przypadku poważniejszych naruszeń lub jeśli inni gracze zgłoszą na nich skargę. Nasz klasyfikator został pobrany ponad 72 000 razy od momentu udostępnienia go na licencji open source w 2024 roku. 

Niedawno wydana wersja 3 moderuje czat głosowy w łącznie 30 językach i ośmiu kategoriach naruszeń, charakteryzując się jeszcze wyższą czułością i precyzją. We wszystkich 30 językach osiąga czułość na poziomie 61% przy ścisłym wskaźniku fałszywych alarmów wynoszącym 1%. Dodano również wbudowaną funkcję wykrywania języka. Postępy te zostały osiągnięte dzięki większej ilości oznaczonych danych szkoleniowych we wszystkich 30 obsługiwanych językach — najpierw oznaczanie maszynowe pod kątem ilości, a następnie ręczne pod kątem jakości. Mimo że liczba parametrów modelu wzrosła z 94,6 mln do 320 mln, zastosowaliśmy destylację modelu, aby zapewnić wystarczającą szybkość do wykrywania w czasie rzeczywistym. 

Bezpieczeństwo to wspólna odpowiedzialność – żadna firma nie jest w stanie rozwiązać tego problemu samodzielnie. Naszym celem w ramach wkładu w projekt ROOST jest pomoc innym firmom w ulepszaniu ich własnych klasyfikatorów bezpieczeństwa. Będziemy nadal dzielić się wiedzą i uczyć się od społeczności ROOST, wspólnie rozwijając automatyczne wykrywanie zagrożeń.