Roblox توفر نماذج أمان مفتوحة المصدر لمجتمع نماذج ROOST

تساهم Roblox بثلاثة نماذج أمان مفتوحة المصدر في مجتمع نماذج أدوات الأمان القوية المفتوحة عبر الإنترنت (ROOST). وتشمل هذه النماذج تحديثات لمصنف المعلومات الشخصية المفتوح المصدر (PII Classifier) وRoblox Sentinel وأحدث مصنف أمان الصوت لدينا. كما أننا نتيح مجموعة بيانات تقييم جديدة مفتوحة المصدر يمكن للشركات الأخرى استخدامها لمقارنة أدائها مع مصنفاتها الخاصة. تعمل إصدارات هذه النماذج بالفعل على Roblox، حيث تكتشف محاولات طلب أو مشاركة المعلومات الشخصية، وتُشير إلى العلامات المبكرة لخطر تعرض الأطفال للخطر، وتراقب الدردشة الصوتية في الوقت الفعلي. 

انضممنا إلى ROOST كعضو مؤسس في أوائل عام 2025، جنبًا إلى جنب مع Google وOpenAI وغيرها. يمنح مشاركة هذه النماذج المنصات الأخرى نقطة انطلاق قوية لتدريب أدوات الإشراف الخاصة بها وضبطها. وفي المقابل، نأمل في الاستفادة من الدروس المستفادة والتعليقات الواردة من الشركات الأخرى أثناء مشاركتها لأعمالها.

الحفاظ على خصوصية المعلومات الشخصية

تم تدريب مصنف المعلومات الشخصية (PII) في Roblox على اكتشاف محاولات اللاعبين لمشاركة أو طلب معلومات شخصية (PII) أو تحويل اللاعبين إلى منصات أخرى، حيث قد لا تكون إجراءات الحماية قوية بنفس القدر. ويشمل ذلك محاولات التحايل على الكشف من خلال الأخطاء الإملائية أو الكلمات المشفرة أو الإشارات الغامضة إلى منصات أخرى. وبدلاً من البحث عن تطابقات دقيقة للكلمات، تم تصميمه لفهم سياق المحادثة، مما يساعده على اكتشاف الطلبات الغامضة التي قد تفوتها المرشحات القياسية. 

تقدم النسخة 2.0 عدة تحديثات رئيسية: أصبحت بيانات التدريب والتقييم تتضمن الآن سياق المحادثة المحيط، بدلاً من الرسائل المعزولة التي قد تبدو غامضة. يساعد تقييم الرسائل في سياق محادثة أوسع نطاقًا على اكتشاف نية مشاركة المعلومات الشخصية المحددة أو التماسها. وقد ساعدنا التدريب على مجموعة من الأمثلة الاصطناعية التي أنشأتها نماذج اللغة الكبيرة (LLM) لسيناريوهات التجاوز الأكثر تعقيدًا والحالات النادرة متعددة اللغات على توسيع نطاق اللغات التي ندعمها من 17 إلى 189 لغة. كما قمنا بدمج نماذج اللغة الكبيرة (LLM) مع ميزة استرجاع السياق لاستخراج العينات ذات الصلة من مجموعة منظمة من البيانات المصنفة. واليوم، تتفوق دقة واسترجاع الإصدار 2.0 على تقنيات الإشراف التقليدية — لا سيما في محاولات التحايل الأكثر تعقيدًا. على سبيل المثال، إذا سُئل شخص ما عن خادم على منصة أخرى، فقد يُخفي إجابته:

المستخدم: «إنه dscrd (نقطة) gg (شرطة مائلة) rblx-vibe-99»، 

المستخدم: «الآن استبدل (dot) بـ . و(slash) بـ /.» يمكن

للإصدار 2.0 فهم سياق هذه الرسائل مجتمعةً ومنع مشاركة المعلومات الشخصية (PII) التي قد تؤدي إلى إبعاد اللاعب عن Roblox. بفضل عمليات الاختبار التهديدي الآلية وتوليد البيانات الاصطناعية المستهدفة، أصبح النموذج أكثر كفاءة في التمييز بين مشاركة المعلومات الشخصية الدقيقة (PII) والمحادثات العادية، مع الحفاظ على تجربة مستخدم طبيعية. أدى هذا العمل إلى رفع درجة F1 لدينا من 63.41 إلى 90.52 — وهو تحسن كبير مقارنة بالإصدار 1.0 الذي حقق أعلى الدرجات في المعايير الداخلية ومفتوحة المصدر.

مشاركة مجموعة بيانات التقييم

يُعد «معيار تصنيف المعلومات الشخصية في Roblox» (Roblox PII Classifier Benchmark) مجموعة بيانات تقييم جديدة لمصنفات المعلومات الشخصية، وتحتوي على عينات اصطناعية من محادثات متعددة المستخدمين باللغة الإنجليزية، تم تصميمها على غرار التقنيات المستخدمة غالبًا للتحايل على مرشحات المعلومات الشخصية. العينات عبارة عن محاكاة تم إنشاؤها بواسطة نماذج اللغة الكبيرة (LLM) للاعبين الذين يطلبون أو يشاركون معلومات شخصية، أو يوجهون اللاعبين للخروج من المنصة. وشملت الاستراتيجيات طرق التحايل الصوتي، واستبدال الأحرف والعناصر المرئية، واللغة المشفرة، وتقسيم المعلومات عبر دورات المحادثة. كما قمنا بالتدريب على «السلبيات الصعبة»، مثل المحادثات التي تكون حميدة لكنها تبدو مشابهة للمحادثات التي تتضمن مشاركة أو طلب معلومات شخصية.

تعكس مجموعة البيانات هذه محادثات متعددة المستخدمين واقعية عبر الإنترنت، على عكس مجموعات البيانات الحالية التي غالبًا ما تركز على استخراج الكيانات المسماة — وهي مجموعة فرعية صغيرة مما تراه المنصات. في الواقع، غالبًا ما تظهر محاولات طلب المعلومات الشخصية قبل ظهور أي سلسلة من المعلومات الشخصية يمكن اكتشافها بوقت طويل — على سبيل المثال، عندما يسأل لاعب آخر: «ما هو اسمك على التطبيق الذي يظهر عليه الشبح؟» نشارك هذا المعيار القياسي حتى تتمكن المجتمع من اختبار مُصنِّف المعلومات الشخصية في Roblox وتحسينه، مما يساعدنا جميعًا على المضي قدمًا نحو حماية أقوى عبر الإنترنت.

الكشف عن المخاطر في أقرب وقت ممكن

تم تصميم Roblox Sentinel لاكتشاف الإشارات المبكرة التي تنذر بخطر محتمل على الأطفال، قبل أن تصبح الرسائل صريحة بما يكفي لكي تكتشفها الأنظمة الأخرى بوقت طويل. استنادًا إلى التعلم التبايني، تم تدريب Sentinel على أنماط المحادثات الحميدة وتلك التي قد تصبح ضارة في نهاية المطاف. ويقارن المحادثات الجديدة بتلك الأنماط لتمييز علامات التحذير الخفية من أجل مراجعتها قبل أن تتفاقم. يتيح Sentinel للمراجعين البشريين إعطاء الأولوية للمحادثات التي من المرجح أن تتطلب اهتمامًا، حتى يتمكنوا من اتخاذ إجراءات سريعة ضد حسابات المستخدمين السيئين والإبلاغ عن المستخدمين المشكوك فيهم إلى السلطات المختصة. خلال الـ 12 شهرًا المنتهية في 7 أغسطس 2026، كان ما يقرب من 70% من الحالات التي اكتشفناها بفضل الكشف المبكر لـ Sentinel، وغالبًا ما تم اكتشاف هذه الحالات في وقت أبكر بكثير من طرق الكشف الأخرى.

اليوم، نطلق الإصدار 2، الذي يزيد من الدقة من خلال توفير المزيد من الطرق لدمج الدرجات، حيث تم توسيع عدد وظائف الدمج من اثنتين إلى ست، كل منها مناسبة لنوع مختلف من البيانات. وبناءً على التعليقات الواردة من مجتمع ROOST، يضيف الإصدار 2 أيضًا طرقًا جديدة لتقييم الوظيفة الأكثر ملاءمة لحالة استخدام معينة، بما في ذلك تفسيرات لأسباب حصول مصدر ما على الدرجة التي حصل عليها. ومن خلال التخلص من الحاجة إلى إعادة حساب بيانات التقييم لكل إعداد، يجعل الإصدار 2 البحث عبر تلك الخيارات أمرًا عمليًّا. في أحد الأمثلة، تمكن الإصدار 2 من إكمال مسح شامل لـ 324 تكوينًا في أقل من ثلاث دقائق — وكان هذا المسح يستغرق سابقًا ما يقرب من ساعة. كما رفع أيضًا مؤشر ROC-AUC (مقياس قياسي لجودة الترتيب) من 0.894 مع الإعدادات الافتراضية إلى 0.996 مع أفضل تكوين تم تحديده. ومن المفترض أن تجعل هذه التحسينات هذه الأداة الجديدة مفتوحة المصدر أسهل في الاختبار والضبط لحالات استخدام محددة.

التحكم في سلامة الصوت في الوقت الفعلي

تم تصميم مصنف أمان الصوت الخاص بنا لاكتشاف الكلام غير اللائق والإبلاغ عنه في الوقت الفعلي. عندما يخالف أحد اللاعبين إحدى قواعدنا، يظهر له إشعار يتضمن تحذيرًا ومعلومات حول السياسة التي انتهكها. إذا استمر في مخالفة القواعد، فسيتم تعليق وصوله إلى الدردشة مؤقتًا لمدة تصل إلى خمس دقائق. قد يتعرض اللاعبون لعواقب أشد في حالة المخالفات الجسيمة أو إذا قدم لاعبون آخرون بلاغات ضدهم. تم تنزيل مصنفنا أكثر من 72,000 مرة منذ أن جعلناه مفتوح المصدر في عام 2024. 

تقوم النسخة 3 التي تم إصدارها مؤخرًا بمراقبة الدردشة الصوتية عبر ما مجموعه 30 لغة وثماني فئات من الانتهاكات بمعدل استرجاع ودقة أعلى. عبر جميع اللغات الثلاثين، تحقق النسخة 3 معدل استرجاع يبلغ 61% مع معدل إيجابي كاذب صارم يبلغ 1%. كما تضيف ميزة الكشف التلقائي عن اللغة. وقد تحققت هذه المكاسب بفضل زيادة بيانات التدريب المصنفة عبر جميع اللغات الثلاثين المدعومة — حيث يتم التصنيف الآلي لضمان الكمية، ثم التصنيف البشري لضمان الجودة. على الرغم من زيادة عدد معلمات النموذج الأساسي من 94.6 مليون إلى 320 مليون معلمة، فقد استخدمنا تقنية «تقطير النموذج» للحفاظ على سرعته الكافية للكشف في الوقت الفعلي. 

السلامة مسؤولية مشتركة — لا يمكن لأي شركة حلها بمفردها. هدفنا من المساهمة في مشروع ROOST هو مساعدة الشركات الأخرى على تحسين مصنفات السلامة الخاصة بها. وسنواصل المشاركة والتعلم من مجتمع ROOST بينما نعمل معًا على تطوير الكشف الآلي.