मनोरंजन, गेमप्ले और सभ्यता के लिए चैट पर पुनर्विचार

• टीमों या समुदायों के साथ मिलकर खेले जाने वाले खेलों के लिए एक स्वाभाविक, सहज चैट अत्यंत महत्वपूर्ण है। 
• ##### की स्ट्रिंग्स, जहाँ अनुचित भाषा को ब्लॉक किया गया था, चैट में व्यवधान डाल सकती हैं, समझने में मुश्किल हो सकती हैं, और गेमप्ले में बाधा डाल सकती हैं।
• चैट को निरंतर और सम्मानजनक बनाए रखने में मदद के लिए, हम अपने चैट फ़िल्टर को बेहतर बना रहे हैं और अपशब्दों को हमारी दिशानिर्देशों के अंतर्गत आने वाले शब्दों में बदल रहे हैं।
• एक अधिक प्राकृतिक चैट अनुभव के लिए ##### को कम करने की हमारी दीर्घकालिक योजना का यह पहला कदम है। हम सुरक्षित और सभ्य चैट का समर्थन करने में मदद के लिए सीखना, सुधार करना और अपने उपकरणों को विकसित करना जारी रखेंगे, जिसमें उपयोगकर्ताओं के लिए अतिरिक्त नियंत्रण भी शामिल हैं।

हर दिन, लाखों लोग रॉब्लॉक्स पर जुड़ते हैं और खेलते हैं जहाँ उपयोगकर्ता की अभिव्यक्ति और गेमप्ले समन्वय के लिए वास्तविक समय संचार महत्वपूर्ण है। समस्याग्रस्त टेक्स्ट (##### के रूप में उपयोगकर्ताओं को दिखाई देता है) को ब्लॉक करने के लिए एआई फ़िल्टर का उपयोग करना हमेशा से सुरक्षा और सभ्यता बढ़ाने के हमारे दृष्टिकोण का केंद्र रहा है। ये हैशमार्क वास्तविक समय में उत्पन्न होते हैं और उपयोगकर्ताओं को यह समझने में मदद करते हैं कि जब वे कुछ टाइप करते हैं तो वह अनुमत नहीं है। बेशक, जब उपयोगकर्ता बार-बार नियम तोड़ते हैं, तो उन्हें केवल उनके शब्दों के ### होने से कहीं ज़्यादा परिणाम भुगतने होंगे।

मई 2025 में, हमने उपयोगकर्ताओं को हमारी नीतियां समझने में मदद करने के लिए सक्रिय, रीयल-टाइम चेतावनियां पेश कीं। ये अब टेक्स्ट और वॉयस चैट दोनों के लिए सक्रिय हैं। ये सूचनाएं उपयोगकर्ताओं को बताती हैं कि उन्होंने कोई नियम कब तोड़ा है, उन्हें अगली बार अपनी भाषा पर पुनर्विचार करने के लिए प्रेरित करती हैं, और उन्हें बेहतर डिजिटल नागरिक बनने में मदद करती हैं। पिछले साल के प्रयोगों में, हमने देखा कि इन-एक्सपीरियंस टेक्स्ट चैट सूचनाएं और टाइम-आउट जारी करने से फ़िल्टर किए गए चैट संदेशों में 5% की कमी और दुर्व्यवहार रिपोर्टों से होने वाले परिणामों में 6% की कमी आई।

आज, हम इन-एक्सपीरियंस टेक्स्ट चैट को सभ्य बनाए रखने में मदद के लिए एक अतिरिक्त सुविधा जोड़ रहे हैं: हम अपशब्दों से शुरू करते हुए, संदेशों को स्वचालित रूप से फिर से लिखने के लिए एआई का उपयोग कर रहे हैं। जैसे-जैसे ये सिस्टम बड़े होते हैं, वे सभ्यता के लिए एक सकारात्मक चक्र बनाते हैं, जहाँ रीयल-टाइम फ़ीडबैक उपयोगकर्ताओं को हमारे सामुदायिक मानकों को सीखने और अपनाने में मदद करता है। सभी उपयोगकर्ता, न कि केवल संदेश भेजने वाला, यह देख सकते हैं कि Roblox पर किस भाषा की अनुमति है (और भेजने वाला यह देखता है कि किसकी अनुमति नहीं है)। यह उन उपयोगकर्ताओं को अधिक प्रतिक्रिया प्रदान करता है जो शायद नियमों को नहीं जानते हैं और यह Roblox पर सुरक्षित, सभ्य और मजेदार बातचीत का समर्थन करने में मदद करने के लिए हमारी फ़िल्टरिंग और रीयल-टाइम चेतावनियों की नींव पर आधारित है। 

वास्तविक समय में चैट पुनर्लेखन: स्टॉप साइन से मार्गदर्शन की ओर

कई उपयोगकर्ताओं के लिए, ##### की एक श्रृंखला बातचीत का एक मृत अंत हो सकती है, जिसमें इस बात का कोई मार्गदर्शन नहीं होता कि हमारे सामुदायिक मानकों का पालन करने के लिए अपनी भाषा पर कैसे पुनर्विचार करें। इससे अक्सर भ्रम पैदा हो सकता है और एक गेम के भीतर टीमों के लिए सहयोग करना कठिन हो सकता है। कल्पना कीजिए कि कोई अपने दोस्त को यह बताने की कोशिश कर रहा है कि उसके पीछे एक राक्षस है और उसे चेतावनी देने के लिए कुछ इस तरह टाइप करता है, "सावधान! तेरे ahhh पर एक fkng राक्षस है!" दोस्त को सिर्फ "###########" दिखाई देता है। यह बहुत मददगार नहीं है। 

आज से, फ़िल्टर किए गए टेक्स्ट का अनुवाद अधिक सम्मानजनक भाषा में किया जाएगा जो फिर भी Roblox उपयोगकर्ताओं को स्वाभाविक लगे। लॉन्च के समय, यह रीयल-टाइम पुनर्व्याख्या अपशब्दों पर केंद्रित है। उदाहरण के लिए, "Hurry tf up!" का अनुवाद "Hurry up!" हो सकता है, जो ##### की तुलना में मूल इरादे के बहुत करीब है। स्पष्ट करने के लिए, जब हम हमारी गाली-गलौज नीति का उल्लंघन करने वाले संदेश को दोबारा लिखते हैं—तो यह फिर भी एक उल्लंघन है और वही नियम लागू होते हैं। कोई उपयोगकर्ता जो चैट में गाली देने की कोशिश जारी रखता है, उसे हमारी नीति का बार-बार उल्लंघन करने के लिए अभी भी वही परिणाम भुगतने होंगे। 

इस सिस्टम को स्टॉप साइन के बजाय एक स्टीयरिंग व्हील (ड्राइविंग व्हील) के रूप में सोचें: यदि कोई संदेश हमारी नीति का उल्लंघन करता है, तो चैट में सभी को सूचित किया जाता है कि बातचीतक सभ्य बनाए रखने के लिए टेक्स्ट को दोबारा शब्दों में ढाला गया है। प्रतिबंधित शब्दों को उन वाक्यांशों से मिलाकर जो उपयोगकर्ता वास्तव में रोज़मर्रा की चैट में उपयोग करते हैं, हम प्रामाणिक एहसास या प्रवाह को खोए बिना चैट को सम्मानजनक बनाए रखने में मदद करते हैं। इन स्टॉप साइन को रीयल-टाइम मार्गदर्शन से बदलकर, हम उस घर्षण को कुछ हद तक कम कर सकते हैं—और फिर भी गाली-गलौज के खिलाफ अपने नियमों को मजबूत कर सकते हैं।

हम टेक्स्ट ब्लॉक होने पर उपयोगकर्ताओं को पुनः वाक्यबद्ध करने और अधिक संदर्भ प्रदान करने के मामले में अभी भी शुरुआती दौर में हैं। समय के साथ, किसी भी एआई अनुवाद उपकरण की तरह, यह उपयोगकर्ता के मूल स्वर या संदर्भ को संरक्षित करने में और अधिक सटीक और सूक्ष्म होता जाएगा। हमारी प्राथमिकता रोब्लॉक्स पर संवाद करने का एक सुरक्षित और सभ्य तरीका बनाना बनी हुई है जो हमारे मानकों को सीखते समय हमारे उपयोगकर्ताओं को सूचित करने, शिक्षित करने और मार्गदर्शन करने को प्राथमिकता देना जारी रखे। 

जहाँ पुनर्वाक्यकरण चैट में कुछ व्यवधान को कम करता है, वहीं अधिक गंभीर व्यवहार के लिए हमारी बहु-स्तरीय सुरक्षा प्रणाली लागू रहती है। पुनर्वाक्यकरण विशेष रूप से इन-एक्सपीरियंस चैट के लिए उपलब्ध है, जो केवल आयु-सत्यापित उपयोगकर्ताओं के बीच समान आयु समूहों में और उनके विश्वसनीय संपर्कों (Trusted Connections) के लिए उपलब्ध है। हमारे स्वचालित अनुवाद उपकरणों के माध्यम से वर्तमान में उपलब्ध सभी भाषाओं में पुनर्वाक्यकरण का समर्थन किया जाता है। हमारा लक्ष्य सटीकता का एक ऐसा स्तर हासिल करना है जो हमें ### को कम करने की अनुमति दे, जब तक कि हम इसे पूरी तरह से समाप्त नहीं कर सकते, जिससे डिजिटल संचार व्यक्तिगत बातचीत जितना ही स्वाभाविक और स्पष्ट हो जाए।

जैसे-जैसे हमने इस सुविधा को विकसित किया, हमने एक ऐसी प्रणाली बनाने के लिए अपनी टीन काउंसिल के सदस्यों से परामर्श किया जो वास्तव में किशोरों की चैटिंग को दर्शाती हो। काउंसिल सदस्य सोफिया ने हमें बताया, "रीयल-टाइम रिफ्रेज़िंग की ओर बढ़ना बातचीत के प्रवाह को बनाए रखता है और साथ ही सभी को सुरक्षित रखने में मदद करता है। यह बातचीत को वापस पटरी पर लाने में धीरे से मार्गदर्शन करता है और लोगों को स्वागत का एहसास करने में मदद करता है।" 

टीन काउंसिल की सदस्य जॉर्डिन इस बात से सहमत हैं। जॉर्डिन ने कहा, "यह बदलाव खिलाड़ियों को यह सोचने के लिए सिखाता है कि वे कैसे संवाद करते हैं और मैत्रीपूर्ण संबंधों को बढ़ावा देकर बातचीत को मजबूत करता है।" "पुनः वाक्यबद्ध करने में स्विच करके, यह खिलाड़ी के अनुरोधों और आवश्यक सुरक्षा मानकों के बीच एक मध्यम मार्ग प्रदान करता है।"  

बेहतर टेक्स्ट फ़िल्टर: पैटर्न से संदर्भ तक का विकास

हमारी सुरक्षा सुविधाएँ इस बात के अनुरूप बने रहने के लिए लगातार विकसित होती रहती हैं कि उपयोगकर्ता Roblox पर कैसे चैट करते हैं। हमारे टेक्स्ट फ़िल्टर हमारे सामुदायिक मानदंडों के विरुद्ध किसी भी चीज़ का पता लगाने और उसे ब्लॉक करने के लिए प्रशिक्षित हैं। यह वैश्विक स्तर पर और वास्तविक समय में होना चाहिए, क्योंकि उपयोगकर्ता चैट कर रहे होते हैं।

शुरू में, इस प्रणाली में दो घटक थे: 1) एक नियम-आधारित प्रणाली जिसे वास्तविक दुनिया की घटनाओं के होने पर मिनटों के भीतर हमारे नियमों को तोड़ने वाली सामग्री का पता लगाने और उसे ब्लॉक करने के लिए डिज़ाइन किया गया था। 2) विशेष मॉडलों का एक सेट जिन्हें एक बड़े मॉडल से प्रशिक्षित किया गया था, जो सिमुलेटेड और वास्तविक नमूनों के एक सेट पर आधारित था, जिन्हें विकसित हो रही भाषा के प्रकारों को शामिल करने के लिए लगातार अपडेट किया जाता है। 

ये विशेष मॉडल विशिष्ट कार्यों में बहुत अच्छे हैं, जैसे कि उन शब्दों की सूची खोजना जिनकी हमें अनुमति नहीं है, लेकिन वे अच्छी तरह से तर्क नहीं कर सकते हैं, इसलिए वे विकसित हो रहे शब्दों को खोजने में अच्छे नहीं हैं। अत्यधिक बड़े मॉडल वास्तविक समय में काम नहीं करते हैं, और हॉलुसिनेशन (या गलत वर्गीकरण) अक्सर फर्जी सकारात्मक परिणामों को बढ़ा देते हैं। 

इस अपडेट में, हमने अपने टेक्स्ट फ़िल्टर सिस्टम में एक नया, तीसरा घटक पेश किया है। अब, जब विशेष मॉडल निश्चित नहीं होते कि कोई चीज़ नियम तोड़ रही है या नहीं, तो उन्हें बहुत बड़े मॉडलों को भेजा जाता है जो तर्क करने और अधिक संदर्भ का आकलन करने में बेहतर होते हैं। ये बड़े मॉडल अधिक जटिल निर्णय ले सकते हैं। 

हमारे प्रयोग दिखाते हैं कि इस संयुक्त दृष्टिकोण ने हमारे फ़िल्टर में काफी सुधार किया है। अब फ़िल्टर लीट-स्पीक, या संख्याओं या प्रतीकों से बदले गए अक्षरों, और हमारे फ़िल्टर को बायपास करने के अधिक परिष्कृत प्रयासों का बेहतर पता लगा सकते हैं। कोई भी सिस्टम कभी भी परिपूर्ण नहीं होता है, लेकिन हम उत्साहित हैं कि इस नवीनतम नवाचार ने हमें सोशल हैंडल या फोन नंबर जैसी व्यक्तिगत जानकारी साझा करने या मांगने के लिए फर्जी नकारात्मक परिणामों (false negatives) की घटना को 20 गुना तक कम करने में सक्षम बनाया है।

यह एक साहसिक नया दृष्टिकोण है और हम हमेशा चीजों को पूरी तरह से सही ढंग से नहीं कह पाएंगे। लेकिन जैसे-जैसे हम आगे बढ़ेंगे, हम सीखना और प्रयोग करना जारी रखेंगे और हम ##### की संख्या को कम करते रहेंगे जो उपयोगकर्ताओं को उनकी चैट में दिखाई दे रही है, जिसका दीर्घकालिक लक्ष्य उन्हें पूरी तरह से समाप्त करना है। हमारा अंतिम लक्ष्य उपयोगकर्ताओं को इस तरह से सहयोग करने और जुड़ने के लिए सशक्त बनाना है जो मजेदार और सम्मानजनक दोनों हो।