Roblox ROOST মডেল কমিউনিটিতে ওপেন-সোর্স নিরাপত্তা মডেল নিয়ে আসছে

Roblox Robust Open Online Safety Tools (ROOST) মডেল কমিউনিটিতে তিনটি ওপেন-সোর্স নিরাপত্তা মডেল অবদান রাখছে। এর মধ্যে রয়েছে আমাদের ওপেন-সোর্স PII ক্লাসিফায়ার, Roblox Sentinel, এবং আমাদের সর্বশেষ ভয়েস সেফটি ক্লাসিফায়ার। আমরা একটি নতুন মূল্যায়ন ডেটাসেটও ওপেন-সোর্স করছি, যা অন্যান্য কোম্পানি তাদের নিজস্ব ক্লাসিফায়ার বেন্চমার্ক করতে ব্যবহার করতে পারবে। এই মডেলগুলির সংস্করণ ইতিমধ্যেই Roblox-এ চলছে, ব্যক্তিগত তথ্য সংগ্রহ বা শেয়ারের চেষ্টা সনাক্ত করছে, শিশু বিপন্নতার প্রাথমিক লক্ষণ চিহ্নিত করছে, এবং রিয়েল-টাইমে ভয়েস চ্যাট মডারেট করছে। 

আমরা ২০২৫ সালের শুরুতে গুগল, ওপেনএআই এবং অন্যান্যদের সাথে প্রতিষ্ঠাতা সদস্য হিসেবে ROOST-এ যোগ দিয়েছি। এই মডেলগুলো শেয়ার করার মাধ্যমে অন্যান্য প্ল্যাটফর্মগুলো তাদের নিজস্ব মডারেটেশন টুল প্রশিক্ষণ ও টিউন করার জন্য একটি মজবুত সূচনা বিন্দু পাচ্ছে। এর বিনিময়ে, আমরা আশা করি অন্যান্য কোম্পানিগুলো যখন তাদের কাজ শেয়ার করবে, তখন তাদের শেখা এবং প্রতিক্রিয়া থেকে আমরাও উপকৃত হব।

ব্যক্তিগত তথ্য ব্যক্তিগত রাখা

Roblox PII ক্লাসিফায়ারটি খেলোয়াড়দের ব্যক্তিগতভাবে শনাক্তযোগ্য তথ্য (PII) শেয়ার বা অনুরোধ করার এবং খেলোয়াড়দের অন্য প্ল্যাটফর্মে নিয়ে যাওয়ার প্রচেষ্টা সনাক্ত করতে প্রশিক্ষিত। যেখানে সুরক্ষা ততটা শক্তিশালী নাও হতে পারে। এর মধ্যে রয়েছে বানান ভুল, কোডিত শব্দ বা অন্য প্ল্যাটফর্মের অস্পষ্ট উল্লেখের মাধ্যমে সনাক্তকরণ এড়ানোর প্রচেষ্টা। সঠিক শব্দ মিলানোর পরিবর্তে এটি কথোপকথনের প্রেক্ষাপট বুঝতে তৈরি, যা স্ট্যান্ডার্ড ফিল্টার মিস করতে পারে এমন অস্পষ্ট অনুরোধগুলো ধরতে সাহায্য করে। 

সংস্করণ 2.0 কয়েকটি বড় আপডেট নিয়ে এসেছে: প্রশিক্ষণ ও মূল্যায়ন ডেটা এখন বিচ্ছিন্ন বার্তার পরিবর্তে আশেপাশের কথোপকথনের প্রেক্ষাপট অন্তর্ভুক্ত করে, যা পূর্বে অস্পষ্ট মনে হতে পারতো। বিস্তৃত কথোপকথনের প্রেক্ষাপটে বার্তাগুলো মূল্যায়ন করা PII শেয়ার করার বা চাওয়ার উদ্দেশ্য সনাক্ত করতে সাহায্য করে। আরও জটিল বাইপাস পরিস্থিতি এবং বিরল বহুভাষিক কেসের জন্য LLM-উত্পন্ন সিন্থেটিক উদাহরণগুলোর একটি সেটে প্রশিক্ষণ নেওয়া আমাদের সমর্থিত ভাষার সংখ্যা ১৭ থেকে ১৮৯-এ বৃদ্ধি করতে সাহায্য করেছে। আমরা LLM-গুলোকে প্রাসঙ্গিক নমুনা আনতে লেবেলযুক্ত ডেটার একটি নির্বাচিত সেট থেকে প্রেক্ষাপট আহরণের (context-fetching) সাথেও যুক্ত করেছি। আজ, সংস্করণ 2.0-এর প্রিসিশন এবং রিকল ঐতিহ্যবাহী মডারেটেশন কৌশলগুলোকে ছাড়িয়ে গেছে—বিশেষ করে আরও উন্নত বাইপাস প্রচেষ্টায়। উদাহরণস্বরূপ, যদি কাউকে অন্য প্ল্যাটফর্মের একটি সার্ভার সম্পর্কে জিজ্ঞাসা করা হয়, তারা তাদের উত্তর অস্পষ্ট করতে পারে:

ব্যবহারকারী: "it's dscrd (dot) gg (slash) rblx-vibe-99," 

ব্যবহারকারী: "এখন (ডট) এর বদলে . এবং (স্ল্যাশ) এর বদলে / ব্যবহার করুন।"

ভার্সন 2.0 এই বার্তাগুলোর প্রেক্ষাপট একসঙ্গে বুঝে এবং এমন PII শেয়ারিং প্রতিরোধ করে যা একজন খেলোয়াড়কে Roblox থেকে সরিয়ে দিতে পারে। স্বয়ংক্রিয় রেড-টিমিং এবং লক্ষ্যনির্ভর সিন্থেটিক ডেটা উৎপাদনের কারণে, মডেলটি স্বাভাবিক ব্যবহারকারীর অভিজ্ঞতা বজায় রেখে সূক্ষ্ম PII শেয়ারিংকে সাধারণ কথোপকথন থেকে পৃথক করতে আরও দক্ষ। এই কাজের ফলে আমাদের F1 স্কোর 63.41 থেকে 90.52-এ উন্নীত হয়েছে—যা সংস্করণ 1.0-এর তুলনায় একটি উল্লেখযোগ্য উন্নতি এবং অভ্যন্তরীণ ও ওপেন-সোর্স বেঞ্চমার্ক জুড়ে শীর্ষ স্কোর অর্জন করেছে।

একটি মূল্যায়ন ডেটা সেট শেয়ার করা

Roblox PII ক্লাসিফায়ার বেঞ্চমার্ক হল PII ক্লাসিফায়ারগুলির জন্য একটি নতুন মূল্যায়ন ডেটা সেট, যা ইংরেজি-ভাষার মাল্টিইউজার চ্যাটের সিন্থেটিক নমুনা নিয়ে গঠিত এবং এটি PII ফিল্টার এড়াতে ব্যবহৃত কৌশলগুলির উপর মডেল করা হয়েছে। এই নমুনাগুলি হল LLM-উৎপন্ন সিমুলেশন, যেখানে খেলোয়াড়রা PII চায় বা শেয়ার করে, অথবা খেলোয়াড়দের প্ল্যাটফর্মের বাইরে যেতে নির্দেশ দেয়। কৌশলগুলির মধ্যে ছিল ধ্বনিনিষ্ঠ ফাঁকি, অক্ষর ও ভিজ্যুয়াল প্রতিস্থাপন, কোডিত ভাষা, এবং কথোপকথনের পালা অনুযায়ী তথ্য ভাগ করে নেওয়া। আমরা কঠিন নেগেটিভগুলিতেও প্রশিক্ষণ দিয়েছি, যেমন এমন চ্যাট যা নিরীহ কিন্তু PII শেয়ার বা অনুরোধ সংক্রান্ত কথোপকথনের মতো দেখায়।

এই ডেটাসেটটি বাস্তবসম্মত মাল্টিইউজার অনলাইন চ্যাট প্রতিফলিত করে, যেখানে বিদ্যমান ডেটাসেটগুলো প্রায়ই নাম-এনটিটি এক্সট্র্যাকশনে (named-entity extraction) ফোকাস করে—যা প্ল্যাটফর্মগুলো যা দেখে তার একটি ক্ষুদ্র অংশ মাত্র। বাস্তবে, PII সংগ্রহের চেষ্টা প্রায়ই কোনো সনাক্তযোগ্য PII স্ট্রিংয়ের অনেক আগেই দেখা যায়—উদাহরণস্বরূপ, একজন খেলোয়াড় অন্য একজনকে জিজ্ঞাসা করছে, "wuts ur @ on the app with the ghost?" আমরা এই বেঞ্চমার্ক শেয়ার করছি যাতে কমিউনিটি Roblox-এর PII ক্লাসিফায়ার পরীক্ষা করে এবং উন্নত করতে পারে, যা আমাদের সকলকে আরও শক্তিশালী অনলাইন সুরক্ষার দিকে এগিয়ে যেতে সাহায্য করবে।

যত তাড়াতাড়ি সম্ভব ঝুঁকি সনাক্তকরণ

Roblox Sentinel সম্ভাব্য শিশু বিপন্নতার প্রাথমিক সংকেত সনাক্ত করার জন্য ডিজাইন করা হয়েছে, যা অন্য সিস্টেমগুলির জন্য যথেষ্ট স্পষ্ট হওয়ার অনেক আগেই ধরা পড়ে। কনট্রাস্টটিভ লার্নিং-এর ভিত্তিতে তৈরি, Sentinel-কে নির্দোষ এবং পরবর্তীতে ক্ষতিকর উভয় ধরনের কথোপকথনের প্যাটার্নে প্রশিক্ষিত করা হয়েছে। এটি নতুন কথোপকথনগুলোকে ঐ প্যাটার্নগুলোর সাথে তুলনা করে সূক্ষ্ম সতর্ক সংকেত চিহ্নিত করে, যাতে সেগুলো গুরুতর রূপ নেওয়ার আগেই পর্যালোচনা করা যায়। সেন্টিনেল মানব পর্যালোচকদের সেই চ্যাটগুলোকে অগ্রাধিকার দিতে দেয় যেগুলো সবচেয়ে বেশি মনোযোগের প্রয়োজন, যাতে তারা খারাপ ব্যবহারকারীদের অ্যাকাউন্টে দ্রুত ব্যবস্থা নিতে এবং সমস্যাযুক্ত ব্যবহারকারীদের যথাযথ কর্তৃপক্ষের কাছে রিপোর্ট করতে পারে। ৭ আগস্ট, ২০২৬ তারিখে শেষ হওয়া ১২ মাসের হিসাবে, আমরা যেসব ঘটনা সনাক্ত করেছি তার প্রায় ৭০%ই সেন্টিনেলের প্রাথমিক সনাক্তকরণের কারণে ছিল, যা প্রায়ই অন্যান্য সনাক্তকরণ পদ্ধতির তুলনায় অনেক আগে এসব ঘটনা ধরে ফেলে।

আজ আমরা সংস্করণ ২ প্রকাশ করছি, যা স্কোর সংমিশ্রণের আরও উপায় প্রদান করে সঠিকতা বৃদ্ধি করে; দুইটি সংমিশ্রণ ফাংশন থেকে ছয়টিতে সম্প্রসারিত, প্রতিটিই ভিন্ন ধরনের ডেটার জন্য উপযুক্ত। ROOST সম্প্রদায়ের প্রতিক্রিয়া অন্তর্ভুক্ত করে, সংস্করণ ২ এমন নতুন উপায় যোগ করেছে যা নির্দিষ্ট ব্যবহারের ক্ষেত্রে কোন ফাংশনটি সবচেয়ে উপযুক্ত তা মূল্যায়ন করতে সাহায্য করে, এবং কেন কোনো উৎস এমনভাবে স্কোর করেছে তার ব্যাখ্যাও দেয়। এবং প্রতিটি সেটিংয়ের জন্য পুনরায় মূল্যায়ন ডেটা গণনা করার প্রয়োজনীয়তা দূর করে, সংস্করণ ২ এই বিকল্পগুলো জুড়ে অনুসন্ধানকে ব্যবহারিক করে তোলে। একটি উদাহরণে, সংস্করণ 2 তিন মিনিটেরও কম সময়ে 324টি কনফিগারেশন জুড়ে একটি সুইপ সম্পন্ন করতে সক্ষম হয়েছিল—সেই সুইপটি পূর্বে প্রায় এক ঘণ্টা সময় নিত। এটি ডিফল্ট সেটিংসে 0.894 থেকে সেরা শনাক্তকৃত কনফিগারেশনের সাথে ROC-AUC (র‍্যাঙ্কিংয়ের গুণমানের একটি মানক পরিমাপ) 0.996 এ উন্নীত করেছে। এই অপ্টিমাইজেশনগুলো এই নতুন ওপেন-সোর্স টুলটিকে নির্দিষ্ট ব্যবহারের ক্ষেত্রে পরীক্ষা এবং টিউন করা সহজ করে তুলবে।

রিয়েল-টাইমে ভয়েস সেফটি নিয়ন্ত্রণ

আমাদের ভয়েস সেফটি ক্লাসিফায়ার রিয়েল-টাইমে অনুপযুক্ত বক্তৃতা সনাক্ত ও ফ্ল্যাগ করার জন্য তৈরি। যখন কোনো প্লেয়ার আমাদের কোনো নিয়ম ভঙ্গ করে, তখন তারা একটি বিজ্ঞপ্তি দেখবে, যেখানে তাদের সতর্ক করা হবে এবং তারা কোন নীতি লঙ্ঘন করেছে সে সম্পর্কে তথ্য জানানো হবে। যদি তারা নিয়ম ভঙ্গ অব্যাহত রাখে, তাহলে চ্যাট অ্যাক্সেস সর্বোচ্চ পাঁচ মিনিটের জন্য অস্থায়ীভাবে স্থগিত করা হবে। বড় ধরনের লঙ্ঘনের ক্ষেত্রে বা অন্য প্লেয়াররা তাদের বিরুদ্ধে রিপোর্ট করলে প্লেয়ারদের আরও কঠোর পরিণতির মুখোমুখি হতে হতে পারে। ২০২৪ সালে আমরা এটিকে ওপেন-সোর্স করার পর থেকে আমাদের ক্লাসিফায়ার ৭২,০০০-এরও বেশিবার ডাউনলোড হয়েছে। 

সম্প্রতি প্রকাশিত সংস্করণ ৩টি মোট ৩০টি ভাষা এবং আটটি লঙ্ঘন বিভাগে আরও উচ্চ রিকল এবং প্রিসিশন সহ ভয়েস চ্যাট মডারেট করে। সব ৩০টি ভাষায়, এটি কঠোর ১% ফালস-পজিটিভ হারে ৬১% রিকল অর্জন করে। এতে বিল্ট-ইন ভাষা সনাক্তকরণও যোগ করা হয়েছে। এই উন্নতিগুলি সব ৩০টি সমর্থিত ভাষায় আরও লেবেলযুক্ত প্রশিক্ষণ ডেটার কারণে হয়েছে—পরিমাণের জন্য মেশিন লেবেলিং, তারপর গুণমানের জন্য মানব লেবেলিং। যদিও অন্তর্নিহিত মডেলটির পরামিতি ৯৪.৬ মিলিয়ন থেকে ৩২০ মিলিয়নে বৃদ্ধি পেয়েছে, তবুও আমরা রিয়েল-টাইম ডিটেকশনের জন্য যথেষ্ট দ্রুত রাখতে মডেল ডিস্টিলেশন ব্যবহার করেছি। 

নিরাপত্তা একটি যৌথ দায়িত্ব—কোনও একক কোম্পানি এটি একা সমাধান করতে পারে না। ROOST-এ অবদান রাখার আমাদের উদ্দেশ্য হল অন্যান্য কোম্পানিগুলোকে তাদের নিজস্ব নিরাপত্তা ক্লাসিফায়ার উন্নত করতে সাহায্য করা। আমরা একসঙ্গে স্বয়ংক্রিয় সনাক্তকরণকে এগিয়ে নিয়ে যেতে ROOST সম্প্রদায়ের সাথে ভাগাভাগি করে শেখা এবং কাজ চালিয়ে যাব।