Roblox ने ROOST मॉडल समुदाय में ओपन-सोर्स सुरक्षा मॉडल लाए

Roblox, Robust Open Online Safety Tools (ROOST) Model Community में तीन ओपन-सोर्स सुरक्षा मॉडल का योगदान दे रहा है। इनमें हमारे ओपन-सोर्स PII क्लासिफायर, Roblox Sentinel, और हमारा नवीनतम वॉयस सेफ्टी क्लासिफायर के अपडेट शामिल हैं। हम एक नया मूल्यांकन डेटासेट भी ओपन-सोर्स कर रहे हैं, जिसका उपयोग अन्य कंपनियाँ अपने स्वयं के क्लासिफायर को बेंचमार्क करने के लिए कर सकती हैं। इन मॉडलों के संस्करण पहले से ही Roblox पर चल रहे हैं, जो व्यक्तिगत जानकारी मांगने या साझा करने के प्रयासों का पता लगाते हैं, बच्चों के खतरे के शुरुआती संकेतों को चिह्नित करते हैं, और रीयल-टाइम में वॉयस चैट को मॉडरेट करते हैं। 

हमने 2025 की शुरुआत में गूगल, ओपनएआई और अन्य के साथ एक संस्थापक सदस्य के रूप में ROOST में शामिल हुए। इन मॉडलों को साझा करने से अन्य प्लेटफ़ॉर्म को अपने स्वयं के मॉडरेशन टूल को प्रशिक्षित और ट्यून करने के लिए एक मजबूत शुरुआती बिंदु मिलता है। बदले में, हम उम्मीद करते हैं कि जब अन्य कंपनियाँ अपना काम साझा करेंगी तो हमें उनके सीख और प्रतिक्रिया से लाभ होगा।

व्यक्तिगत जानकारी को व्यक्तिगत रखना

रॉब्लॉक्स PII क्लासिफायर को खिलाड़ियों द्वारा व्यक्तिगत रूप से पहचानने योग्य जानकारी (PII) साझा करने या अनुरोध करने, या खिलाड़ियों को अन्य प्लेटफ़ॉर्म पर ले जाने के प्रयासों का पता लगाने के लिए प्रशिक्षित किया गया है, जहाँ सुरक्षा उतनी मजबूत नहीं हो सकती। इसमें वर्तनी की गलतियाँ, कोडित शब्द, या अन्य प्लेटफ़ॉर्म के अस्पष्ट संदर्भों के माध्यम से पता लगाने की कोशिशों को दरकिनार करने के प्रयास शामिल हैं। सटीक शब्द मिलान खोजने के बजाय, इसे वार्तालाप के संदर्भ को समझने के लिए बनाया गया है, जिससे यह उन गुप्त अनुरोधों को पकड़ने में मदद करता है जिन्हें मानक फ़िल्टर चूक सकते हैं। 

संस्करण 2.0 कई प्रमुख अपडेट लेकर आता है: अब प्रशिक्षण और मूल्यांकन डेटा में अस्पष्ट लगने वाले अलग-थलग संदेशों के बजाय, आसपास के संवादात्मक संदर्भ को शामिल किया जाता है। विस्तृत बातचीत के संदर्भ में संदेशों का मूल्यांकन करने से PII साझा करने या मांगने के इरादे का पता लगाने में मदद मिलती है। अधिक जटिल बाईपास परिदृश्यों और दुर्लभ बहुभाषी मामलों के LLM-जनित सिंथेटिक उदाहरणों के एक सेट पर प्रशिक्षण ने हमें समर्थित भाषाओं की संख्या 17 से बढ़ाकर 189 करने में मदद की। हमने लेबल किए गए डेटा के एक क्यूरेटेड सेट से प्रासंगिक नमूने निकालने के लिए LLMs को संदर्भ-प्राप्ति (context-fetching) के साथ भी जोड़ा है। आज, संस्करण 2.0 की सटीकता और रिकॉल पारंपरिक मॉडरेशन तकनीकों से बेहतर है—विशेष रूप से अधिक परिष्कृत बाईपास प्रयासों पर। उदाहरण के लिए, यदि किसी से किसी अन्य प्लेटफ़ॉर्म पर एक सर्वर के बारे में पूछा जाता है, तो वे अपना उत्तर अस्पष्ट कर सकते हैं:

उपयोगकर्ता: "it's dscrd (dot) gg (slash) rblx-vibe-99," 

उपयोगकर्ता: "अब (डॉट) को . से और (स्लैश) को / से बदलें।"

संस्करण 2.0 उन संदेशों के संदर्भ को एक साथ समझ सकता है और उस PII साझाकरण को रोक सकता है जो किसी खिलाड़ी को Roblox से बाहर ले जा सकता है। स्वचालित रेड-टीमिंग और लक्षित सिंथेटिक डेटा जनरेशन की बदौलत, यह मॉडल एक प्राकृतिक उपयोगकर्ता अनुभव को बनाए रखते हुए, सूक्ष्म PII साझाकरण को आकस्मिक बातचीत से अलग करने में और भी बेहतर है। इस काम ने हमारे F1 स्कोर को 63.41 से बढ़ाकर 90.52 कर दिया—यह संस्करण 1.0 की तुलना में एक महत्वपूर्ण सुधार है, जो आंतरिक और ओपन-सोर्स बेंचमार्क पर शीर्ष स्कोर हासिल करता है।

एक मूल्यांकन डेटा सेट साझा करना

Roblox PII क्लासिफायर बेंचमार्क, PII क्लासिफायरों के लिए एक नया मूल्यांकन डेटा सेट है, जिसमें अंग्रेजी भाषा की मल्टीयूज़र चैट के सिंथेटिक नमूने शामिल हैं, जिन्हें अक्सर PII फ़िल्टर से बचने के लिए उपयोग की जाने वाली तकनीकों पर मॉडल किया गया है। ये नमूने खिलाड़ियों द्वारा PII मांगने या साझा करने, या खिलाड़ियों को प्लेटफ़ॉर्म से बाहर निर्देशित करने के LLM-जनित सिमुलेशन हैं। रणनीतियों में ध्वन्यात्मक बाईपास, वर्ण और दृश्य प्रतिस्थापन, कोडित भाषा, और वार्तालाप के बारी-बारी से होने वाले दौर में जानकारी को विभाजित करना शामिल था। हमने हार्ड नेगेटिव्स पर भी प्रशिक्षण दिया, जैसे कि वे चैट जो हानिरहित हैं लेकिन उन बातचीत के समान दिखती हैं जिनमें PII साझाकरण या मांग शामिल होती है।

यह डेटा सेट वास्तविक बहु-उपयोगकर्ता ऑनलाइन चैट को दर्शाता है, जबकि मौजूदा डेटा सेट अक्सर नामित-इकाई निष्कर्षण (named-entity extraction) पर ध्यान केंद्रित करते हैं—जो प्लेटफ़ॉर्मों द्वारा देखी जाने वाली चीज़ों का एक छोटा उपसमूह है। वास्तव में, PII की मांग करने के प्रयास अक्सर किसी भी पता लगाने योग्य PII स्ट्रिंग से बहुत पहले दिखाई देते हैं—उदाहरण के लिए, एक खिलाड़ी दूसरे से पूछता है, "घोस्ट वाली ऐप पर तुम्हारा @ क्या है?" हम यह बेंचमार्क इसलिए साझा कर रहे हैं ताकि समुदाय Roblox के PII क्लासिफायर का परीक्षण कर सके और उसमें सुधार कर सके, जिससे हम सभी को और भी मजबूत ऑनलाइन सुरक्षा की ओर बढ़ने में मदद मिले।

जोखिम का यथासंभव जल्दी पता लगाना

रॉब्लॉक्स सेन्टिनेल को संभावित बाल संकट के शुरुआती संकेतों का पता लगाने के लिए डिज़ाइन किया गया है, इससे पहले कि संदेश अन्य प्रणालियों द्वारा पता लगाने के लिए पर्याप्त स्पष्ट हो जाएं। कॉन्ट्रास्टिव लर्निंग पर निर्मित, सेन्टिनेल को हानिरहित और अंततः हानिकारक दोनों तरह की बातचीत के पैटर्न पर प्रशिक्षित किया जाता है। यह नई बातचीत की तुलना उन पैटर्न से करता है ताकि वे बढ़ने से पहले समीक्षा के लिए सूक्ष्म चेतावनी संकेतों को चिह्नित कर सके। सेंटिनल मानवीय समीक्षकों को उन चैट को प्राथमिकता देने की अनुमति देता है, जिन्हें सबसे अधिक ध्यान देने की आवश्यकता है, ताकि वे खराब उपयोगकर्ताओं के खातों पर तुरंत कार्रवाई कर सकें और समस्याग्रस्त उपयोगकर्ताओं को उचित अधिकारियों को रिपोर्ट कर सकें। 7 अगस्त, 2026 को समाप्त हुई 12 महीनों की अवधि के लिए, हमारे द्वारा पता लगाए गए लगभग 70% मामले सेंटिनल के शुरुआती पता लगाने के कारण थे, जो अक्सर इन मामलों को अन्य पता लगाने के तरीकों की तुलना में बहुत पहले पकड़ लेता है।

आज, हम संस्करण 2 जारी कर रहे हैं, जो स्कोर को संयोजित करने के अधिक तरीकों की पेशकश करके सटीकता बढ़ाता है, दो संयोजन फ़ंक्शन से बढ़कर छह कर देता है, जिनमें से प्रत्येक एक अलग प्रकार के डेटा के लिए उपयुक्त है। ROOST समुदाय से मिली प्रतिक्रिया को शामिल करते हुए, संस्करण 2 यह मूल्यांकन करने के नए तरीके भी जोड़ता है कि किसी दिए गए उपयोग मामले के लिए कौन सा फ़ंक्शन सबसे उपयुक्त है, जिसमें इस बात की व्याख्या भी शामिल है कि किसी स्रोत ने उस तरह स्कोर क्यों किया। और प्रत्येक सेटिंग के लिए मूल्यांकन डेटा को फिर से गणना करने की आवश्यकता को समाप्त करके, संस्करण 2 उन विकल्पों में खोज करना व्यावहारिक बनाता है। एक उदाहरण में, संस्करण 2 तीन मिनट से भी कम समय में 324 कॉन्फ़िगरेशनों में एक सर्वेक्षण पूरा करने में सक्षम था—यह सर्वेक्षण पहले लगभग एक घंटा लेता था। इसने डिफ़ॉल्ट सेटिंग्स के साथ 0.894 से ROC-AUC (रैंकिंग गुणवत्ता का एक मानक माप) को पहचानी गई सर्वोत्तम कॉन्फ़िगरेशन के साथ 0.996 तक बढ़ा दिया। इन अनुकूलन से इस नए ओपन-सोर्स टूल को विशिष्ट उपयोग मामलों के लिए परीक्षण और ट्यून करना आसान हो जाना चाहिए।

वास्तविक समय में आवाज़ सुरक्षा का समन्वय

हमारा वॉयस सेफ्टी क्लासिफायर रीयल-टाइम में अनुचित भाषण का पता लगाने और उसे फ्लैग करने के लिए बनाया गया है। जब कोई प्लेयर हमारे नियमों में से किसी एक का उल्लंघन करता है, तो उन्हें एक सूचना दिखाई देती है जो उन्हें चेतावनी देती है और यह जानकारी देती है कि उन्होंने किस नीति का उल्लंघन किया है। यदि वे नियमों का उल्लंघन करना जारी रखते हैं, तो चैट एक्सेस पांच मिनट तक के लिए अस्थायी रूप से निलंबित कर दिया जाएगा। बड़े उल्लंघनों के लिए या यदि अन्य प्लेयर उनके खिलाफ रिपोर्ट दर्ज करते हैं तो प्लेयरों पर और भी सख्त परिणाम लागू हो सकते हैं। हमारे क्लासिफायर को 2024 में ओपन-सोर्स करने के बाद से इसे 72,000 से अधिक बार डाउनलोड किया जा चुका है। 

हाल ही में जारी, संस्करण 3 कुल 30 भाषाओं और आठ उल्लंघन श्रेणियों में और भी उच्च रिकॉल और सटीकता के साथ वॉयस चैट को मॉडरेट करता है। सभी 30 भाषाओं में, यह 1% की सख्त फर्जी-सकारात्मक दर पर 61% रिकॉल प्राप्त करता है। इसमें अंतर्निहित भाषा का पता लगाने की सुविधा भी जोड़ी गई है। ये सुधार सभी 30 समर्थित भाषाओं में अधिक लेबल वाले प्रशिक्षण डेटा से प्रेरित थे—मात्रा के लिए मशीन लेबलिंग, फिर गुणवत्ता के लिए मानव लेबलिंग। हालांकि अंतर्निहित मॉडल 94.6 मिलियन से बढ़कर 320 मिलियन पैरामीटर का हो गया, हमने इसे रीयल-टाइम डिटेक्शन के लिए पर्याप्त तेज़ रखने के लिए मॉडल डिस्टिलेशन का उपयोग किया। 

सुरक्षा एक साझा जिम्मेदारी है—कोई भी कंपनी इसे अकेले हल नहीं कर सकती। ROOST में योगदान करने का हमारा इरादा अन्य कंपनियों को अपने स्वयं के सुरक्षा क्लासिफायर को बेहतर बनाने में मदद करना है। हम एक साथ स्वचालित पहचान को आगे बढ़ाते हुए ROOST समुदाय के साथ साझा करना और उनसे सीखना जारी रखेंगे।