రాబ్లాక్స్, ఓపెన్-సోర్స్ భద్రతా మోడళ్లను ROOST మోడల్ కమ్యూనిటీకి తీసుకువచ్చింది

రాబ్లాక్స్, రాబస్ట్ ఓపెన్ ఆన్‌లైన్ సేఫ్టీ టూల్స్ (ROOST) మోడల్ కమ్యూనిటీకి మూడు ఓపెన్-సోర్స్ భద్రతా మోడళ్లను అందిస్తోంది. వీటిలో మా ఓపెన్-సోర్స్ PII క్లాసిఫైయర్, రాబ్లాక్స్ సెంటినెల్, మరియు మా తాజా వాయిస్ భద్రతా క్లాసిఫైయర్‌లకు అప్‌డేట్‌లు ఉన్నాయి. మేము ఒక కొత్త మూల్యాంకన డేటాసెట్‌ను కూడా ఓపెన్ సోర్స్ చేస్తున్నాము, దీనిని ఇతర కంపెనీలు తమ సొంత వర్గీకరణ సాధనాలను బెంచ్‌మార్క్ చేయడానికి ఉపయోగించుకోవచ్చు. ఈ మోడళ్ల వెర్షన్‌లు ఇప్పటికే Robloxలో నడుస్తున్నాయి, వ్యక్తిగత సమాచారాన్ని అభ్యర్థించడానికి లేదా పంచుకోవడానికి చేసే ప్రయత్నాలను గుర్తిస్తూ, పిల్లల ప్రమాదానికి సంబంధించిన ప్రారంభ సంకేతాలను ఫ్లాగ్ చేస్తూ, మరియు వాయిస్ చాట్‌ను నిజ సమయంలో మోడరేట్ చేస్తున్నాయి. 

మేము 2025 ప్రారంభంలో గూగుల్, ఓపెన్ఏఐ మరియు ఇతరులతో పాటు ROOSTలో వ్యవస్థాపక సభ్యులుగా చేరాము. ఈ మోడళ్లను పంచుకోవడం వల్ల ఇతర ప్లాట్‌ఫారమ్‌లకు తమ సొంత మోడరేషన్ సాధనాలను శిక్షణ మరియు ట్యూన్ చేయడానికి ఒక పటిష్టమైన ప్రారంభ స్థానం లభిస్తుంది. ప్రతిగా, ఇతర కంపెనీలు తమ పనిని పంచుకున్నప్పుడు వారి నుండి లభించే అభ్యాసాలు మరియు అభిప్రాయాల నుండి మేము ప్రయోజనం పొందుతామని ఆశిస్తున్నాము.

వ్యక్తిగత సమాచారాన్ని వ్యక్తిగతంగా ఉంచడం

రోబ్లాక్స్ PII క్లాసిఫైయర్, ఆటగాళ్ళు వ్యక్తిగతంగా గుర్తించదగిన సమాచారాన్ని (PII) పంచుకోవడానికి లేదా అభ్యర్థించడానికి చేసే ప్రయత్నాలను, లేదా తగినంత రక్షణ లేని ఇతర ప్లాట్‌ఫారమ్‌లకు ఆటగాళ్లను తరలించే ప్రయత్నాలను గుర్తించేలా శిక్షణ పొందింది. అక్షర దోషాలు, కోడ్ చేసిన పదాలు, లేదా ఇతర ప్లాట్‌ఫారమ్‌లకు సంబంధించిన అస్పష్టమైన సూచనల ద్వారా గుర్తింపును తప్పించుకోవడానికి చేసే ప్రయత్నాలు కూడా ఇందులో ఉంటాయి. ఖచ్చితమైన పదాల సరిపోలికల కోసం వెతకడానికి బదులుగా, ఇది సంభాషణా సందర్భాన్ని అర్థం చేసుకునేలా నిర్మించబడింది, దీనివల్ల ప్రామాణిక ఫిల్టర్‌లు వదిలివేసే రహస్య అభ్యర్థనలను పట్టుకోవడంలో ఇది సహాయపడుతుంది. 

వెర్షన్ 2.0 అనేక ప్రధాన నవీకరణలను తీసుకువచ్చింది: ఇప్పుడు శిక్షణ మరియు మూల్యాంకన డేటా, అస్పష్టంగా అనిపించే ఏకాకి సందేశాలకు బదులుగా, చుట్టూ ఉన్న సంభాషణాత్మక సందర్భాన్ని పొందుపరుస్తుంది. విస్తృత సంభాషణ సందర్భంలో సందేశాలను మూల్యాంకనం చేయడం, వ్యక్తిగత సమాచారాన్ని (PII) పంచుకోవడానికి లేదా అభ్యర్థించడానికి ఉన్న ఉద్దేశ్యాన్ని గుర్తించడంలో సహాయపడుతుంది. మరింత సంక్లిష్టమైన బైపాస్ దృశ్యాల మరియు అరుదైన బహుభాషా కేసుల యొక్క LLM-సృష్టించిన కృత్రిమ ఉదాహరణల సెట్‌పై శిక్షణ చేయడం ద్వారా, మేము మద్దతు ఇచ్చే భాషల సంఖ్యను 17 నుండి 189కి విస్తరించగలిగాము. మేము లేబుల్ చేయబడిన డేటా యొక్క క్యూరేటెడ్ సెట్ నుండి సంబంధిత నమూనాలను తీసుకురావడానికి, సందర్భాన్ని సేకరించే సాంకేతికతతో LLMలను కూడా జతచేశాము. నేడు, వెర్షన్ 2.0 యొక్క ప్రెసిషన్ మరియు రికార్డ్ సాంప్రదాయ మోడరేషన్ పద్ధతుల కంటే మెరుగైనవి—ముఖ్యంగా మరింత అధునాతన బైపాస్ ప్రయత్నాలలో. ఉదాహరణకు, వేరొక ప్లాట్‌ఫారమ్‌లోని ఒక సర్వర్ గురించి ఎవరినైనా అడిగితే, వారు తమ సమాధానాన్ని ఈ విధంగా మారుస్తారు:

యూజర్: "it's dscrd (dot) gg (slash) rblx-vibe-99," 

వినియోగదారు: "ఇప్పుడు (డాట్) ను . తో మరియు (స్లాష్) ను / తో మార్చండి."

వెర్షన్ 2.0 ఆ సందేశాల సందర్భాన్ని కలిపి అర్థం చేసుకోగలదు మరియు ఒక ప్లేయర్‌ను Roblox నుండి బయటకు తీసుకువెళ్ళగల PII పంచుకోవడాన్ని నివారించగలదు. ఆటోమేటెడ్ రెడ్-టీమింగ్ మరియు లక్షిత సింథటిక్ డేటా జనరేషన్ వల్ల, సహజమైన వినియోగదారు అనుభవాన్ని కాపాడుకుంటూనే, సాధారణ సంభాషణ నుండి సూక్ష్మమైన PII భాగస్వామ్యాన్ని వేరు చేయడంలో ఈ మోడల్ మరింత మెరుగ్గా పనిచేస్తుంది. ఈ పని మా F1 స్కోర్‌ను 63.41 నుండి 90.52కి పెంచింది—ఇది వెర్షన్ 1.0 కంటే గణనీయమైన మెరుగుదల, మరియు అంతర్గత మరియు ఓపెన్-సోర్స్ బెంచ్‌మార్క్‌లలో అగ్రశ్రేణి స్కోర్‌లను సాధిస్తుంది.

ఒక మూల్యాంకన డేటా సెట్‌ను పంచుకోవడం

రాబ్లాక్స్ PII క్లాసిఫైయర్ బెంచ్‌మార్క్ అనేది PII ఫిల్టర్‌లను తప్పించుకోవడానికి తరచుగా ఉపయోగించే పద్ధతుల ఆధారంగా రూపొందించిన ఆంగ్ల-భాషా మల్టీయూజర్ చాట్‌ల సింథటిక్ నమూనాలతో కూడిన PII క్లాసిఫైయర్‌ల కోసం ఒక కొత్త మూల్యాంకన డేటా సెట్. ఈ నమూనాలు, ఆటగాళ్లు PIIని అడగడం లేదా పంచుకోవడం, లేదా ప్లాట్‌ఫారమ్ నుండి బయటకు వెళ్ళమని ఆటగాళ్లను ఆదేశించడం వంటి వాటి యొక్క LLM-సృష్టించిన అనుకరణలు. వ్యూహాలలో ఫోనెటిక్ బైపాస్‌లు, అక్షర మరియు దృశ్య ప్రతిస్థాపన, కోడ్ చేయబడిన భాష, మరియు సంభాషణల వంతుల మధ్య సమాచారాన్ని విభజించడం వంటివి ఉన్నాయి. PII పంచుకోవడం లేదా అభ్యర్థించడం వంటి వాటిని కలిగి ఉన్న సంభాషణలతో పోలి ఉండే, కానీ వాస్తవానికి హానిచేయని చాట్‌ల వంటి 'హార్డ్ నెగటివ్‌ల'పై కూడా మేము శిక్షణ ఇచ్చాము.

ఈ డేటా సెట్, తరచుగా పేర్కొన్న-సంస్థల సంగ్రహణపై (named-entity extraction) దృష్టి సారించే ఇప్పటికే ఉన్న డేటా సెట్‌లకు భిన్నంగా, వాస్తవిక బహుళ-వినియోగదారుల ఆన్‌లైన్ చాట్‌ను ప్రతిబింబిస్తుంది—ఇది ప్లాట్‌ఫారమ్‌లు చూసే వాటిలో ఒక చిన్న ఉపసమితి మాత్రమే. వాస్తవంలో, PIIని సేకరించే ప్రయత్నాలు, గుర్తించగల PII స్ట్రింగ్ కంటే చాలా ముందే కనిపిస్తాయి—ఉదాహరణకు, ఒక ప్లేయర్ మరొకరిని, "ఘోస్ట్ ఉన్న యాప్‌లో నీ @ ఏమిటి?" అని అడగడం. కమ్యూనిటీ Roblox యొక్క PII క్లాసిఫైయర్‌ను పరీక్షించి, మెరుగుపరచడానికి వీలుగా మేము ఈ బెంచ్‌మార్క్‌ను పంచుకుంటున్నాము, తద్వారా మనమందరం మరింత బలమైన ఆన్‌లైన్ రక్షణల వైపు సాగడానికి ఇది సహాయపడుతుంది.

సాధ్యమైనంత త్వరగా ప్రమాదాన్ని గుర్తించడం

ఇతర సిస్టమ్‌లు గుర్తించడానికి వీలుగా సందేశాలు స్పష్టంగా ఉండే ముందే, సంభావ్య బాలల ప్రమాద సూచనలను ముందుగానే గుర్తించడానికి రాబ్లాక్స్ సెంటినెల్ రూపొందించబడింది. కాంట్రాస్టివ్ లెర్నింగ్‌పై నిర్మించబడిన సెంటినెల్, హానిచేయని మరియు చివరికి హానికరమైన సంభాషణల నమూనాలపై శిక్షణ పొందింది. ఇది కొత్త సంభాషణలను ఆ నమూనాలతో పోల్చి, పరిస్థితులు తీవ్రమయ్యే ముందే సమీక్ష కోసం సూక్ష్మమైన హెచ్చరిక సంకేతాలను గుర్తిస్తుంది. సెంటెనెల్, దృష్టి అవసరమయ్యే చాట్‌లకు మానవ సమీక్షకులు ప్రాధాన్యతనివ్వడానికి అనుమతిస్తుంది, తద్వారా వారు చెడ్డ వినియోగదారుల ఖాతాలపై త్వరగా చర్య తీసుకోవచ్చు మరియు సమస్యాత్మక వినియోగదారులను సంబంధిత అధికారులకు నివేదించవచ్చు. ఆగస్టు 7, 2026తో ముగిసిన 12 నెలల కాలంలో, మేము గుర్తించిన కేసులలో దాదాపు 70% కేసులు సెంటెనెల్ యొక్క ముందస్తు గుర్తింపు కారణంగానే జరిగాయి, ఇది తరచుగా ఇతర గుర్తింపు పద్ధతుల కంటే చాలా ముందుగానే ఈ కేసులను పట్టుకుంటుంది.

ఈ రోజు, మేము వెర్షన్ 2ని విడుదల చేస్తున్నాము, ఇది స్కోర్‌లను కలపడానికి మరిన్ని మార్గాలను అందించడం ద్వారా కచ్చితత్వాన్ని పెంచుతుంది, రెండు కలపే ఫంక్షన్‌ల నుండి ఆరుకు విస్తరిస్తుంది, ప్రతిది వేర్వేరు రకమైన డేటాకు అనుకూలంగా ఉంటుంది. ROOST కమ్యూనిటీ నుండి వచ్చిన అభిప్రాయాన్ని పొందుపరుస్తూ, వెర్షన్ 2 ఒక నిర్దిష్ట వినియోగ సందర్భానికి ఏ ఫంక్షన్ ఉత్తమంగా సరిపోతుందో మూలం ఎందుకు ఆ విధంగా స్కోర్ చేసిందో వివరణలతో సహా మూల్యాంకనం చేయడానికి కొత్త మార్గాలను కూడా జోడిస్తుంది. మరియు ప్రతి సెట్టింగ్ కోసం మూల్యాంకన డేటాను తిరిగి లెక్కించాల్సిన అవసరాన్ని తొలగించడం ద్వారా, వెర్షన్ 2 ఆ ఎంపికలన్నింటిలో శోధించడాన్ని ఆచరణాత్మకంగా చేస్తుంది. ఒక ఉదాహరణలో, వెర్షన్ 2, 324 కాన్ఫిగరేషన్‌లన్నింటినీ మూడు నిమిషాల కంటే తక్కువ సమయంలో స్వీప్ చేయగలిగింది—ఆ స్వీప్ గతంలో దాదాపు గంట సమయం పట్టేది. ఇది డిఫాల్ట్ సెట్టింగ్‌లతో ROC-AUC (ర్యాంకింగ్ నాణ్యతకు ప్రామాణిక కొలమానం)ను 0.894 నుండి, గుర్తించబడిన ఉత్తమ కాన్ఫిగరేషన్‌తో 0.996కి పెంచింది. ఈ ఆప్టిమైజేషన్‌లు ఈ కొత్త ఓపెన్-సోర్స్ టూల్‌ను నిర్దిష్ట వినియోగ సందర్భాల కోసం పరీక్షించడం మరియు ట్యూన్ చేయడం సులభతరం చేస్తాయి.

నిజ సమయంలో వాయిస్ భద్రతను నియంత్రించడం

మా వాయిస్ సేఫ్టీ క్లాసిఫైయర్ అసభ్యకరమైన మాటలను నిజ సమయంలో గుర్తించి, ఫ్లాగ్ చేయడానికి రూపొందించబడింది. ఒక ప్లేయర్ మా నియమాలలో ఒకదాన్ని ఉల్లంఘించినప్పుడు, వారు ఒక నోటిఫికేషన్‌ను చూస్తారు, అది వారికి హెచ్చరిక ఇవ్వడంతో పాటు వారు ఏ పాలసీని ఉల్లంఘించారో సమాచారాన్ని పంచుకుంటుంది. వారు నియమాలను ఉల్లంఘించడం కొనసాగిస్తే, చాట్ యాక్సెస్ ఐదు నిమిషాల వరకు తాత్కాలికంగా నిలిపివేయబడుతుంది. పెద్ద ఉల్లంఘనల కోసం లేదా ఇతర ప్లేయర్లు వారిపై ఫిర్యాదులు చేసినట్లయితే, ప్లేయర్‌లు మరింత కఠినమైన పరిణామాలను ఎదుర్కోవచ్చు. మేము 2024లో దీనిని ఓపెన్ సోర్స్ చేసినప్పటి నుండి మా క్లాసిఫైయర్‌ను 72,000 కంటే ఎక్కువ సార్లు డౌన్‌లోడ్ చేసుకున్నారు. 

ఇటీవల విడుదలైన వెర్షన్ 3, మొత్తం 30 భాషలలో మరియు ఎనిమిది ఉల్లంఘన వర్గాలలో మరింత అధిక రికాల్ మరియు ప్రెసిషన్‌తో వాయిస్ చాట్‌ను నియంత్రిస్తుంది. అన్ని 30 భాషలలో, ఇది కఠినమైన 1% ఫాల్స్-పాజిటివ్ రేటు వద్ద 61% రికాల్‌ను సాధిస్తుంది. ఇది అంతర్నిర్మిత భాషా గుర్తింపును కూడా జోడిస్తుంది. ఈ పురోగతికి కారణం, మద్దతు ఉన్న అన్ని 30 భాషలలో ఎక్కువ లేబుల్ చేయబడిన శిక్షణా డేటా—పరిమాణం కోసం మెషిన్ లేబులింగ్, ఆపై నాణ్యత కోసం మానవ లేబులింగ్. అంతర్లీన మోడల్ 94.6 మిలియన్ల నుండి 320 మిలియన్ల పారామితులకు పెరిగినప్పటికీ, రియల్-టైమ్ గుర్తింపు కోసం దానిని తగినంత వేగంగా ఉంచడానికి మేము మోడల్ డిస్టిలేషన్‌ను ఉపయోగించాము. 

భద్రత అనేది ఒక ఉమ్మడి బాధ్యత—ఏ ఒక్క కంపెనీ దీనిని ఒంటరిగా పరిష్కరించలేదు. ROOSTకు సహకరించడంలో మా ఉద్దేశ్యం, ఇతర కంపెనీలు తమ సొంత భద్రతా వర్గీకరణలను మెరుగుపరచడంలో సహాయపడటం. మనం కలిసి ఆటోమేటెడ్ డిటెక్షన్‌ను ముందుకు తీసుకెళ్లే క్రమంలో, మేము ROOST కమ్యూనిటీతో భాగస్వామ్యం చేస్తూ, వారి నుండి నేర్చుకుంటూనే ఉంటాము.