Roblox ने ROOST मॉडेल समुदायासाठी ओपन-सोर्स सुरक्षा मॉडेल्स आणल्या

Roblox Robust Open Online Safety Tools (ROOST) मॉडेल समुदायात तीन ओपन-सोर्स सुरक्षा मॉडेल्स योगदान देत आहे. यात आमच्या ओपन-सोर्स PII क्लासिफायर, Roblox Sentinel आणि आमच्या नवीनतम व्हॉइस सुरक्षा क्लासिफायर यांना सुधारणा समाविष्ट आहेत. आम्ही एक नवीन मूल्यांकन डेटासेटही ओपन-सोर्स करत आहोत, ज्याचा वापर इतर कंपन्या त्यांच्या स्वतःच्या वर्गीकरण साधनांची तुलनात्मक चाचणी करण्यासाठी करू शकतात. या मॉडेल्सच्या आवृत्त्या सध्या Roblox वर चालू आहेत, वैयक्तिक माहिती मागवण्याचे किंवा शेअर करण्याचे प्रयत्न ओळखतात, बाल धोक्याच्या सुरुवातीच्या चिन्हांना चिन्हांकित करतात, आणि व्हॉइस चॅटचे रिअल-टाइममध्ये नियमन करतात. 

आम्ही Google, OpenAI आणि इतरांसोबत 2025 च्या सुरुवातीला ROOST मध्ये संस्थापक सदस्य म्हणून सामील झालो. या मॉडेल्सची देवाणघेवाण इतर प्लॅटफॉर्मना त्यांच्या स्वतःच्या मॉडरेशन साधनांचे प्रशिक्षण आणि ट्यून करण्यासाठी एक मजबूत प्रारंभिक बिंदू देते. त्याबदल्यात, इतर कंपन्या त्यांच्या कामाची देवाणघेवाण करताना त्यांच्या शिकवणी आणि अभिप्रायाचा आम्हाला फायदा होईल अशी आम्हाला आशा आहे.

वैयक्तिक माहिती वैयक्तिक ठेवणे

Roblox PII वर्गीकरणक खेळाडूंनी वैयक्तिकरित्या ओळखता येण्याजोगी माहिती (PII) शेअर करण्याचा किंवा मागवण्याचा, तसेच खेळाडूंना अशा इतर प्लॅटफॉर्मवर नेण्याचा प्रयत्न ओळखण्यासाठी प्रशिक्षित केले आहे, जिथे संरक्षण तितके मजबूत नसते. यात चुकीच्या स्पेलिंग्ज, कोडित शब्द किंवा इतर प्लॅटफॉर्मकडे अस्पष्ट संदर्भांद्वारे शोध टाळण्याचे प्रयत्न यांचा समावेश होतो. अचूक शब्दांच्या जुळणीऐवजी, हे संभाषणात्मक संदर्भ समजून घेण्यासाठी तयार केले आहे, ज्यामुळे पारंपारिक फिल्टर चुकवू शकणाऱ्या गूढ विनंत्याही पकडल्या जातात. 

आवृत्ती 2.0 मध्ये अनेक प्रमुख सुधारणा आणल्या आहेत: प्रशिक्षण आणि मूल्यांकन डेटा आता अस्पष्ट वाटू शकणाऱ्या स्वतंत्र संदेशांऐवजी सभोवतालच्या संभाषणात्मक संदर्भाचा समावेश करतो. विस्तृत संभाषणाच्या संदर्भात संदेशांचे मूल्यांकन केल्याने वैयक्तिक माहिती (PII) शेअर करण्याचा किंवा मागवण्याचा हेतू ओळखण्यास मदत होते. अधिक गुंतागुंतीच्या बायपास परिस्थिती आणि दुर्मिळ बहुभाषिक प्रकरणांच्या कृत्रिम उदाहरणांच्या LLM-निर्मित संचावर प्रशिक्षण घेतल्यामुळे आम्ही समर्थन करत असलेल्या भाषांची संख्या 17 वरून 189 पर्यंत वाढवू शकलो. आम्ही LLM ला संदर्भ-प्राप्ती (context-fetching) सोबत जोडले आहे, ज्याद्वारे लेबल केलेल्या डेटाच्या संकलित संचातून संबंधित नमुने काढता येतात. आज, आवृत्ती 2.0 ची अचूकता आणि पुनर्प्राप्ती पारंपारिक मध्यस्थीकरण तंत्रांपेक्षा सुधारली आहे—विशेषतः अधिक परिष्कृत बायपास प्रयत्नांमध्ये. उदाहरणार्थ, जर कोणी दुसऱ्या प्लॅटफॉर्मवरील सर्व्हरबद्दल विचारले, तर ते त्यांचा उत्तर अस्पष्ट करू शकतात:

वापरकर्ता: "it's dscrd (dot) gg (slash) rblx-vibe-99," 

User: "आता (dot) ची जागा . ने आणि (slash) ची जागा / ने बदला."

आवृत्ती 2.0 या संदेशांचा एकत्रित संदर्भ समजू शकते आणि Roblox वरून खेळाडूला बाहेर नेऊ शकणारी PII शेअरिंग प्रतिबंधित करते. स्वयंचलित रेड-टीमिंग आणि लक्ष्यित कृत्रिम डेटा निर्मितीमुळे, हा मॉडेल नैसर्गिक वापरकर्ता अनुभव जपून ठेवत, सूक्ष्म PII शेअरिंगला अनौपचारिक संभाषणापासून वेगळे करण्यात आणखीच सक्षम झाला आहे. या कामामुळे आमचा F1 स्कोअर 63.41 वरून 90.52 वर वाढला—आवृत्ती 1.0 पेक्षा ही एक लक्षणीय सुधारणा आहे, जी अंतर्गत आणि ओपन-सोर्स बेंचमार्कवर सर्वोच्च गुण मिळवते.

मूल्यांकन डेटा संच शेअर करणे

Roblox PII क्लासिफायर बेंचमार्क हा PII क्लासिफायर्ससाठीचा एक नवीन मूल्यांकन डेटा सेट आहे, ज्यात इंग्रजी भाषेतील बहु-खेळाडू चॅट्सचे सिंथेटिक नमुने आहेत, जे PII फिल्टर्स टाळण्यासाठी वापरल्या जाणाऱ्या तंत्रांवर आधारित आहेत. हे नमुने LLM द्वारे तयार केलेल्या सिम्युलेशन्स आहेत, ज्यात खेळाडू PII विचारत किंवा शेअर करत आहेत, किंवा इतर खेळाडूंना प्लॅटफॉर्मवरून बाहेर जाण्यास सांगत आहेत. या रणनीतींमध्ये ध्वन्यात्मक बायपास, अक्षरे व दृश्य प्रतिस्थापन, सांकेतिक भाषा, आणि संभाषणातील फेरींमध्ये माहिती विभाजित करणे यांचा समावेश होता. आम्ही हार्ड निगेटिव्हवरही प्रशिक्षण दिले, जसे की निरुपद्रवी चॅट्स जे PII शेअरिंग किंवा विनंती असलेल्या संभाषणांसारखे दिसतात.

हा डेटा सेट वास्तविक बहु-उपयोगकर्ता ऑनलाइन चॅटचे प्रतिबिंबित करतो, विद्यमान डेटा सेटच्या उलट जे अनेकदा नाम-घटक निष्कर्षणावर (named-entity extraction) लक्ष केंद्रित करतात—जे प्लॅटफॉर्म पाहतात त्या गोष्टींचा एक छोटा उपसमूह आहे. वास्तविकतेत, PII मागण्याचे प्रयत्न कोणतीही ओळखता येणारी PII स्ट्रिंग दिसण्यापूर्वीच दिसतात—उदाहरणार्थ, एक खेळाडू दुसऱ्याला विचारतो, "wuts ur @ on the app with the ghost?" आम्ही हा बेंचमार्क शेअर करत आहोत जेणेकरून समुदाय Roblox च्या PII क्लासिफायरची चाचणी घेऊ शकतो आणि त्यात सुधारणा करू शकतो, ज्यामुळे आपण सर्वजण अधिक मजबूत ऑनलाइन संरक्षणाकडे वाटचाल करू शकू.

जोखीम शक्य तितक्या लवकर ओळखणे

Roblox Sentinel संभाव्य बाल धोक्याच्या सुरुवातीच्या संकेतांचा शोध घेण्यासाठी डिझाइन केलेले आहे, जे संदेश इतर प्रणालींना ओळखता येण्याइतके स्पष्ट होण्यापूर्वीच पकडते. कॉन्ट्रास्टिव्ह लर्निंगवर आधारित, Sentinel ला निरुपद्रवी आणि अखेरीस हानिकारक होणाऱ्या दोन्ही प्रकारच्या संभाषणांच्या नमुन्यांवर प्रशिक्षण दिले जाते. हे नवीन संभाषणांची त्या नमुन्यांशी तुलना करून सूक्ष्म इशारे ओळखते आणि ते गंभीर होण्यापूर्वी पुनरावलोकनासाठी चिन्हांकित करते. सेंटिनल मानवी पुनरावलोककांना सर्वाधिक लक्ष देण्याची गरज असलेल्या चॅट्सना प्राधान्य देण्यास अनुमती देते, ज्यामुळे ते वाईट वापरकर्त्यांच्या खात्यांवर त्वरीत कारवाई करू शकतात आणि समस्याग्रस्त वापरकर्त्यांची संबंधित अधिकाऱ्यांना तक्रार करू शकतात. ७ ऑगस्ट, २०२६ रोजी संपलेल्या १२ महिन्यांच्या कालावधीत, आम्ही शोधलेल्या प्रकरणांपैकी सुमारे ७०% प्रकरणे सेंटिनलच्या लवकर शोधामुळे होती, जी अनेकदा इतर शोध पद्धतींपेक्षा खूप लवकर या प्रकरणांना पकडतात.

आज, आम्ही आवृत्ती 2 जारी करत आहोत, जी स्कोअर एकत्र करण्याचे अधिक मार्ग देऊन अचूकता वाढवते, दोन संयोजन कार्यांपासून सहापर्यंत विस्तार करते, प्रत्येक डेटाच्या वेगवेगळ्या प्रकारासाठी योग्य आहे. ROOST समुदायाकडून मिळालेल्या अभिप्रायाचा समावेश करून, आवृत्ती 2 एखाद्या विशिष्ट वापराच्या प्रकरणात कोणते कार्य सर्वोत्तम आहे हे मूल्यांकन करण्याचे नवीन मार्ग देखील जोडते, ज्यात स्त्रोताने का स्कोअर त्या प्रकारे दिले याचे स्पष्टीकरण देखील समाविष्ट आहे. आणि प्रत्येक सेटिंगसाठी मूल्यांकन डेटा पुन्हा गणना करण्याची गरज दूर करून, आवृत्ती 2 त्या पर्यायांमध्ये शोध घेणे व्यवहार्य बनवते. एका उदाहरणात, आवृत्ती 2 ने तीन मिनिटांपेक्षा कमी वेळात 324 कॉन्फिगरेशन्सवर एक सविस्तर तपासणी पूर्ण केली—ही तपासणी पूर्वी जवळपास एक तास लागायचा. याने डीफॉल्ट सेटिंग्जसह 0.894 असलेली ROC-AUC (रँकिंग गुणवत्तेचे एक मानक मोजमाप) ओळखलेल्या सर्वोत्तम कॉन्फिगरेशन्सह 0.996 पर्यंत वाढवली. या सुधारणांमुळे हे नवीन ओपन-सोर्स साधन विशिष्ट वापराच्या प्रकरणांसाठी चाचणी आणि ट्यून करण्यास सोपे होईल.

वास्तविक वेळेत आवाज सुरक्षिततेचे नियमन

आमचा व्हॉइस सेफ्टी क्लासिफायर वास्तविक वेळेत अयोग्य भाषण ओळखण्यासाठी आणि चिन्हांकित करण्यासाठी तयार केला गेला आहे. जेव्हा एखादा खेळाडू आमच्या नियमांपैकी एखादा नियम मोडतो, तेव्हा त्यांना एक सूचना दिसते ज्यात त्यांना चेतावणी दिली जाते आणि त्यांनी कोणती धोरणे मोडली याची माहिती दिली जाते. जर ते नियम मोडतच राहिले, तर चॅट प्रवेश तात्पुरता पाच मिनिटांपर्यंत निलंबित केला जाईल. मोठ्या उल्लंघनांसाठी किंवा इतर खेळाडूंनी त्यांच्याविरुद्ध तक्रार दाखल केल्यास खेळाडूंना अधिक कठोर परिणाम भोगावे लागू शकतात. आम्ही 2024 मध्ये ते ओपन-सोर्स केल्यापासून आमचा क्लासिफायर 72,000 पेक्षा जास्त वेळा डाउनलोड झाला आहे. 

अलीकडेच जारी झालेली आवृत्ती 3, आधीच्या आवृत्तीपेक्षा जास्त रिकॉल आणि अचूकतेसह एकूण 30 भाषा आणि आठ उल्लंघन श्रेण्यांमध्ये व्हॉइस चॅटचे नियमन करते. सर्व 30 भाषांमध्ये, ती कडक 1% खोटा-सकारात्मक दर राखून 61% रिकॉल साध्य करते. यात अंगभूत भाषा ओळखण्याची सुविधा देखील जोडली आहे. हे फायदे सर्व 30 समर्थित भाषांसाठी अधिक लेबल केलेल्या प्रशिक्षण डेटामुळे साध्य झाले आहेत—प्रमाणासाठी मशीन लेबलिंग, आणि नंतर गुणवत्तेसाठी मानवी लेबलिंग. मूळ मॉडेलचे पॅरामीटर्स 94.6 दशलक्षांवरून 320 दशलक्ष झाले असले तरी, रिअल-टाइम ओळखीसाठी पुरेसे वेगवान ठेवण्यासाठी आम्ही मॉडेल डिस्टिलेशनचा वापर केला. 

सुरक्षा ही एक सामायिक जबाबदारी आहे—कोणतीही कंपनी ती एकटीच सोडवू शकत नाही. ROOST मध्ये योगदान देण्यामागील आमचा हेतू म्हणजे इतर कंपन्यांना त्यांच्या स्वतःच्या सुरक्षा वर्गीकरणकर्त्यांना (classifiers) सुधारण्यात मदत करणे. आपण एकत्रितपणे स्वयंचलित शोध पुढे नेत असताना आम्ही ROOST समुदायाशी शेअर करत आणि त्यांच्याकडून शिकत राहू.