Roblox นำแบบจำลองความปลอดภัยแบบโอเพนซอร์สมาสู่ชุมชนแบบจำลอง ROOST

Roblox กำลังนำแบบจำลองความปลอดภัยแบบโอเพนซอร์สสามแบบมาแบ่งปันให้กับชุมชนแบบจำลอง Robust Open Online Safety Tools (ROOST) ซึ่งรวมถึงการอัปเดตแบบจำลอง PII Classifier แบบโอเพนซอร์สของเรา Roblox Sentinel และแบบจำลองความปลอดภัยเสียงรุ่นล่าสุดของเรา เรายังเปิดแหล่งข้อมูลชุดข้อมูลการประเมินใหม่ให้บริษัทอื่นสามารถใช้เพื่อเปรียบเทียบประสิทธิภาพของตัวจำแนกข้อมูลของตนเองได้อีกด้วย รุ่นของโมเดลเหล่านี้กำลังทำงานอยู่บน Roblox แล้ว โดยสามารถตรวจจับการพยายามขอหรือแบ่งปันข้อมูลส่วนบุคคล แจ้งเตือนสัญญาณเริ่มต้นของการคุกคามเด็ก และควบคุมการสนทนาด้วยเสียงแบบเรียลไทม์ 

เราได้เข้าร่วม ROOST ในฐานะสมาชิกผู้ก่อตั้งเมื่อต้นปี 2525 ร่วมกับ Google, OpenAI และบริษัทอื่นๆ การแบ่งปันโมเดลเหล่านี้จะให้แพลตฟอร์มอื่นๆ มีจุดเริ่มต้นที่มั่นคงในการฝึกและปรับแต่งเครื่องมือการควบคุมเนื้อหาของตนเอง และในทางกลับกัน เราหวังว่าจะได้รับประโยชน์จากความรู้และข้อเสนอแนะจากบริษัทอื่นๆ เมื่อพวกเขาแบ่งปันผลงานของตนเอง

รักษาข้อมูลส่วนตัวให้เป็นส่วนตัว

ระบบ Roblox PII Classifier ได้รับการฝึกฝนเพื่อตรวจจับความพยายามของผู้เล่นในการแบ่งปันหรือขอข้อมูลส่วนบุคคลที่สามารถระบุตัวตนได้ (PII) หรือชักจูงผู้เล่นไปยังแพลตฟอร์มอื่น ซึ่งระบบการป้องกันอาจไม่เข้มงวดเท่าที่ควร ซึ่งรวมถึงความพยายามในการหลีกเลี่ยงการตรวจจับผ่านการสะกดผิด คำที่เข้ารหัส หรือการอ้างอิงที่คลุมเครือไปยังแพลตฟอร์มอื่น แทนที่จะค้นหาคำที่ตรงกันเป๊ะ ระบบนี้ถูกออกแบบมาเพื่อเข้าใจบริบทการสนทนา ซึ่งช่วยให้สามารถตรวจจับคำขอที่คลุมเครือที่ตัวกรองมาตรฐานอาจพลาดไปได้ 

เวอร์ชัน 2.0 นำมาซึ่งการอัปเดตสำคัญหลายประการ: ข้อมูลการฝึกอบรมและการประเมินผลตอนนี้รวมบริบทการสนทนาโดยรอบแล้ว แทนที่จะเป็นข้อความที่แยกออกมาซึ่งอาจดูคลุมเครือ การประเมินข้อความในบริบทของการสนทนาที่กว้างขึ้นช่วยตรวจจับความตั้งใจที่จะแบ่งปันหรือขอข้อมูลส่วนบุคคล (PII) การฝึกอบรมบนชุดตัวอย่างสังเคราะห์ที่สร้างโดย LLM สำหรับสถานการณ์การหลีกเลี่ยงที่ซับซ้อนยิ่งขึ้นและกรณีหลายภาษาที่หายาก ช่วยให้เราขยายจำนวนภาษาที่รองรับจาก 17 เป็น 189 นอกจากนี้ เรายังได้ผสาน LLM กับระบบดึงบริบท (context-fetching) เพื่อดึงตัวอย่างที่เกี่ยวข้องจากชุดข้อมูลที่ได้รับการจัดหมวดหมู่และติดป้ายกำกับ ปัจจุบัน ความแม่นยำและอัตราการค้นคืนของเวอร์ชัน 2.0 ดีขึ้นกว่าเทคนิคการตรวจสอบแบบดั้งเดิม — โดยเฉพาะอย่างยิ่งในการพยายามหลีกเลี่ยงระบบที่ซับซ้อนยิ่งขึ้น ตัวอย่างเช่น หากมีผู้ใช้ถูกถามเกี่ยวกับเซิร์ฟเวอร์บนแพลตฟอร์มอื่น เขาอาจทำให้คำตอบดูคลุมเครือ:

ผู้ใช้: “it’s dscrd (dot) gg (slash) rblx-vibe-99,” 

ผู้ใช้: “ตอนนี้เปลี่ยน (dot) เป็น . และ (slash) เป็น /.”

เวอร์ชัน 2.0 สามารถเข้าใจบริบทของข้อความเหล่านั้นร่วมกันและป้องกันการแบ่งปันข้อมูลส่วนบุคคล (PII) ที่อาจทำให้ผู้เล่นถูกย้ายออกจาก Roblox ด้วยการใช้ทีมทดสอบความปลอดภัยแบบอัตโนมัติ (red-teaming) และการสร้างข้อมูลสังเคราะห์ที่มุ่งเป้า โมเดลนี้สามารถแยกแยะการแบ่งปันข้อมูลส่วนบุคคลที่ละเอียดอ่อน (PII) จากการสนทนาทั่วไปได้ดีขึ้น โดยยังคงรักษาประสบการณ์ผู้ใช้ที่เป็นธรรมชาติไว้ งานวิจัยนี้ทำให้คะแนน F1 ของเราเพิ่มขึ้นจาก 63.41 เป็น 90.52 — ซึ่งเป็นการปรับปรุงอย่างมีนัยสำคัญเมื่อเทียบกับเวอร์ชัน 1.0 ที่เคยทำคะแนนสูงสุดในมาตรฐานการทดสอบทั้งภายในและแบบโอเพนซอร์ส

การแบ่งปันชุดข้อมูลการประเมิน

Roblox PII Classifier Benchmark เป็นชุดข้อมูลประเมินผลใหม่สำหรับตัวจำแนกข้อมูลส่วนบุคคล (PII) ที่ประกอบด้วยตัวอย่างข้อมูลสังเคราะห์จากการสนทนาแบบหลายผู้ใช้ในภาษาอังกฤษ ซึ่งจำลองจากเทคนิคที่มักใช้เพื่อหลีกเลี่ยงตัวกรองข้อมูลส่วนบุคคล ตัวอย่างเหล่านี้เป็นการจำลองที่สร้างขึ้นโดย LLM ซึ่งแสดงถึงผู้เล่นที่ขอหรือแบ่งปันข้อมูลส่วนบุคคล หรือชักจูงผู้เล่นให้ออกจากแพลตฟอร์ม กลยุทธ์ที่ใช้รวมถึงการหลีกเลี่ยงด้วยวิธีออกเสียง การแทนที่ตัวอักษรและภาพ การใช้ภาษาที่เข้ารหัส และการแบ่งข้อมูลออกเป็นหลายส่วนในรอบการสนทนา เรายังฝึกโมเดลด้วยข้อมูลเชิงลบที่ยาก (hard negatives) เช่น การสนทนาที่ไม่มีอันตรายแต่ดูคล้ายกับการสนทนาที่มีการแบ่งปันหรือขอข้อมูลส่วนบุคคล (PII)

ชุดข้อมูลนี้สะท้อนการสนทนาออนไลน์แบบหลายผู้ใช้ที่สมจริง ซึ่งแตกต่างจากชุดข้อมูลที่มีอยู่ซึ่งมักเน้นไปที่การสกัดข้อมูลชื่อเฉพาะ (named-entity extraction) — ซึ่งเป็นเพียงส่วนย่อยเล็กๆ ของสิ่งที่แพลตฟอร์มเห็น ในความเป็นจริง การพยายามขอข้อมูลส่วนบุคคลมักปรากฏขึ้นก่อนที่ข้อความที่มีข้อมูลส่วนบุคคลจะถูกตรวจพบได้ — เช่น ผู้เล่นคนหนึ่งถามผู้เล่นอีกคนว่า “wuts ur @ on the app with the ghost?” เราแบ่งปันเกณฑ์มาตรฐานนี้เพื่อให้ชุมชนสามารถทดสอบและปรับปรุงตัวจำแนกข้อมูลส่วนบุคคลของ Roblox ได้ ซึ่งจะช่วยเราทุกคนก้าวไปสู่การคุ้มครองออนไลน์ที่แข็งแกร่งยิ่งขึ้น

การตรวจจับความเสี่ยงตั้งแต่เนิ่นๆ

Roblox Sentinel ได้รับการออกแบบมาเพื่อตรวจจับสัญญาณเริ่มต้นของความเสี่ยงที่อาจก่อให้เกิดอันตรายต่อเด็ก ก่อนที่ข้อความจะชัดเจนพอที่ระบบอื่นจะตรวจจับได้ Sentinel ซึ่งพัฒนาขึ้นบนพื้นฐานของการเรียนรู้แบบเปรียบเทียบ (contrastive learning) ได้รับการฝึกฝนจากรูปแบบการสนทนาทั้งที่ไม่มีอันตรายและที่อาจก่อให้เกิดอันตรายในภายหลัง โดยจะเปรียบเทียบการสนทนาใหม่กับรูปแบบเหล่านั้น เพื่อระบุสัญญาณเตือนที่ละเอียดอ่อนให้ตรวจสอบก่อนที่สถานการณ์จะบานปลาย Sentinel ช่วยให้ผู้ตรวจสอบมนุษย์สามารถจัดลำดับความสำคัญของบทสนทนาที่มีแนวโน้มต้องการความสนใจมากที่สุด เพื่อให้สามารถดำเนินการกับบัญชีผู้ใช้ที่ไม่เหมาะสมได้อย่างรวดเร็ว และรายงานผู้ใช้ที่มีปัญหาไปยังหน่วยงานที่เกี่ยวข้อง ภายในระยะเวลา 12 เดือนที่สิ้นสุดเมื่อวันที่ 7 สิงหาคม 2026 กรณีที่เราตรวจพบเกือบ 70% เป็นผลมาจากการตรวจจับล่วงหน้าของ Sentinel ซึ่งมักตรวจพบกรณีเหล่านี้ได้เร็วกว่าวิธีการตรวจจับอื่น ๆ อย่างมาก

วันนี้ เรากำลังเปิดตัวเวอร์ชัน 2 ซึ่งเพิ่มความแม่นยำด้วยการเสนอวิธีการรวมคะแนนเพิ่มเติม โดยขยายจากสองฟังก์ชันการรวมเป็นหกฟังก์ชัน ซึ่งแต่ละฟังก์ชันเหมาะสำหรับประเภทข้อมูลที่แตกต่างกัน นอกจากนี้ เวอร์ชัน 2 ยังนำข้อเสนอแนะจากชุมชน ROOST มาปรับใช้ โดยเพิ่มวิธีการใหม่ในการประเมินว่าฟังก์ชันใดเหมาะสมที่สุดกับกรณีการใช้งานเฉพาะ รวมถึงคำอธิบายว่าทำไมแหล่งข้อมูลนั้นจึงได้รับคะแนนในลักษณะดังกล่าว และด้วยการขจัดความจำเป็นในการคำนวณข้อมูลการประเมินใหม่สำหรับแต่ละการตั้งค่า เวอร์ชัน 2 ทำให้การค้นหาตัวเลือกต่าง ๆ เป็นไปได้อย่างสะดวก ในตัวอย่างหนึ่ง เวอร์ชัน 2 สามารถดำเนินการสแกนผ่าน 324 การตั้งค่าได้ภายในเวลาไม่ถึงสามนาที — ซึ่งการสแกนดังกล่าวในอดีตจะใช้เวลาเกือบหนึ่งชั่วโมง นอกจากนี้ ยังเพิ่มค่า ROC-AUC (ตัววัดมาตรฐานของคุณภาพการจัดอันดับ) จาก 0.894 ในการตั้งค่าเริ่มต้น เป็น 0.996 เมื่อใช้การตั้งค่าที่ดีที่สุดที่ระบุได้ การปรับปรุงเหล่านี้ควรทำให้เครื่องมือโอเพนซอร์สใหม่นี้สามารถทดสอบและปรับแต่งได้ง่ายขึ้นสำหรับกรณีการใช้งานเฉพาะ

การควบคุมความปลอดภัยของเสียงแบบเรียลไทม์

ระบบจัดประเภทความปลอดภัยในการสื่อสารของเราถูกออกแบบมาเพื่อตรวจจับและทำเครื่องหมายคำพูดที่ไม่เหมาะสมแบบเรียลไทม์ เมื่อผู้เล่นละเมิดกฎข้อใดข้อหนึ่งของเรา พวกเขาจะเห็นการแจ้งเตือนที่ให้คำเตือนและแจ้งข้อมูลเกี่ยวกับนโยบายที่ถูกละเมิด หากพวกเขายังคงละเมิดกฎต่อไป สิทธิ์การเข้าถึงแชทจะถูกระงับชั่วคราวเป็นเวลาสูงสุด 5 นาที ผู้เล่นอาจต้องเผชิญกับบทลงโทษที่รุนแรงขึ้นสำหรับการละเมิดที่ร้ายแรงกว่า หรือหากผู้เล่นอื่นรายงานพวกเขา ระบบจำแนกของเราได้รับการดาวน์โหลดมากกว่า 72,000 ครั้ง นับตั้งแต่เราเปิดซอร์สโค้ดในปี 2024 

เวอร์ชัน 3 ที่เพิ่งเปิดตัวเมื่อเร็วๆ นี้ สามารถควบคุมการสนทนาด้วยเสียงใน 30 ภาษาและ 8 หมวดหมู่การละเมิด ด้วยอัตราการเรียกคืน (recall) และความแม่นยำ (precision) ที่สูงขึ้นกว่าเดิม ในทั้ง 30 ภาษา เวอร์ชันนี้ đạtอัตราการเรียกคืน 61% ที่อัตราผลบวกผิด (false-positive rate) ที่เข้มงวดเพียง 1% นอกจากนี้ ยังเพิ่มฟังก์ชันการตรวจจับภาษาแบบในตัว (built-in language detection) ด้วย ความก้าวหน้าเหล่านี้เกิดจากข้อมูลฝึกอบรมที่มีป้ายกำกับมากขึ้นในทั้ง 30 ภาษาที่รองรับ — โดยใช้การติดป้ายกำกับด้วยเครื่องเพื่อเพิ่มปริมาณข้อมูล และตามด้วยการติดป้ายกำกับโดยมนุษย์เพื่อปรับปรุงคุณภาพ แม้โมเดลพื้นฐานจะเพิ่มขึ้นจาก 94.6 ล้าน เป็น 320 ล้าน พารามิเตอร์ แต่เราได้ใช้เทคนิคการกลั่นกรองโมเดล (model distillation) เพื่อให้โมเดลยังคงทำงานได้เร็วพอสำหรับการตรวจจับแบบเรียลไทม์ 

ความปลอดภัยเป็นความรับผิดชอบร่วมกัน — ไม่มีบริษัทใดสามารถแก้ไขปัญหานี้ได้เพียงลำพัง ความตั้งใจของเราในการมีส่วนร่วมกับ ROOST คือเพื่อช่วยบริษัทอื่น ๆ ปรับปรุงตัวจำแนกความปลอดภัยของตนเอง เราจะยังคงแบ่งปันและเรียนรู้จากชุมชน ROOST ต่อไป ขณะที่เราพัฒนาการตรวจจับอัตโนมัติร่วมกัน