রবলোক্স কীভাবে বিল্ড গেম সৃষ্টি মূল্যায়ন করে

Build, আমাদের নতুন মোবাইল-প্রথম সৃষ্টিশীল টুল, একজন Roblox ব্যবহারকারীকে টেক্সট প্রম্পট ব্যবহার করে একটি গেম তৈরি করতে এবং তা বিশ্বজুড়ে খেলোয়াড়দের কাছে প্রকাশ করতে দেয়। একটি পূর্ণাঙ্গ গেম তৈরি করতে একটি শুরু থেকে শেষ পর্যন্ত এজেন্ট-ভিত্তিক সিস্টেম প্রয়োজন: যা কোড, ভিজ্যুয়াল অ্যাসেট, গেমপ্লে সিস্টেম, UI এবং নিয়ন্ত্রণসমূহকে একক যৌগিক আর্টিফ্যাক্টে সমন্বিত করে। এই সিস্টেমটিকে খেলোয়াড়ের ইনপুট এবং মাল্টিপ্লেয়ার ইন্টারঅ্যাকশনের ফলে উদ্ভূত বিভিন্ন পরিস্থিতি দৃঢ়ভাবে মোকাবিলা করতে হবে। নিউ জিল্যান্ডে আলফা লঞ্চের পর থেকে, ১০০,০০০-এরও বেশি খেলোয়াড় Build ব্যবহার করে গেম তৈরি করার চেষ্টা করেছেন, এবং প্রায় ৯,০০০টি Build গেম প্রকাশিত হয়েছে^।1 যারা গেম তৈরি করতে Build ব্যবহার করেছেন তাদের মধ্যে, ৭১% এর আগে কখনো Roblox Studio ব্যবহার করেনি,¹ যা দেখায় তারা Build দিয়ে কিছু নতুন চেষ্টা করছে।

কিন্তু নির্মাতারা এই নতুন টুলটি তখনই ব্যবহার করবেন যখন এটি ব্যবহারে সহজ হবে এবং এটি তৈরি করা গেমের মান আরও উন্নত করার জন্য যথেষ্ট উচ্চমানের হবে। Build দিয়ে তৈরি গেমের মান বোঝার জন্য, আমরা শুরু থেকে শেষ পর্যন্ত সৃষ্টির পুরো যাত্রাকে মূল্যায়ন করি এবং সেই মূল্যায়ন ও নির্মাতাদের প্রতিক্রিয়া ব্যবহার করে পণ্যটি উন্নত করি। আমাদের মূল্যায়ন (eval) ফ্রেমওয়ার্ক আমাদের উদ্দেশ্য বোঝা, 3D খেলার যোগ্যতা এবং পরিশীলিততা অগ্রাধিকার দিতে ও উন্নত করতে সাহায্য করেছে। নিউজিল্যান্ডে Build-এর আলফা লঞ্চের পর থেকে, নির্মাতাদের সন্তুষ্টি ১০% বেড়েছে, অনিচ্ছাকৃত আউটপুট ১৮% থেকে ৩%-এ নেমে এসেছে, এবং প্রায় ১৪% প্রম্পটেড সেশন ও ১৯% প্লেটেস্ট প্রকাশিত হয়েছে।² এগুলো অগ্রগতির বর্ণনামূলক সূচক, শুধুমাত্র মূল্যায়নের প্রভাবের কারণগত অনুমান নয়।

গেম তৈরি মূল্যায়ন কেন আলাদা

গেমগুলো অন্যান্য সিস্টেম যেমন অ্যাপ, ভিডিও এবং বিশ্ব মডেলের মতো যৌগিক আর্টিফ্যাক্ট তৈরি করে, সেগুলোর মূল্যায়নে একই ধরনের কিছু চ্যালেঞ্জ শেয়ার করে। উদাহরণস্বরূপ, গুণমান নির্ভর করে একাধিক উপাদান কীভাবে একসঙ্গে কাজ করে তার উপর, এবং কোনো একক উপাদানের স্কোর ফলাফলকে সম্পূর্ণরূপে বর্ণনা করতে পারে না। 

গেমগুলোকে যা আলাদা করে তা হলো, আর্টিফ্যাক্টটি একটি চালনাযোগ্য, রিয়েল-টাইম সিস্টেম যা খেলোয়াড়দের দ্বারা পরিচালিত হয়। প্রতিক্রিয়াশীলতা, নিয়ন্ত্রণ, অগ্রগতি এবং গেমের অনুভূতির মতো বৈশিষ্ট্যগুলো ইন্টারঅ্যাকশনের মাধ্যমে উদ্ভূত হয় এবং শুধুমাত্র কোড বা অ্যাসেট পরিদর্শন করে এগুলো সম্পূর্ণরূপে মূল্যায়ন করা যায় না। অতএব, একটি গেমকে নিম্ন-স্তরের সঠিকতা (ত্রুটিমুক্ত এবং খেলার যোগ্য) এবং উচ্চ-স্তরের খেলোয়াড় অভিজ্ঞতা (একটি সম্পূর্ণ গেমের মতো অনুভূতি, প্রোটোটাইপ নয়) উভয়েরই একটি অনন্যভাবে উচ্চ মানদণ্ড পূরণ করতে হয়। 

মূল্যায়নের মাধ্যমে আমরা যে প্রশ্নটির উত্তর খুঁজতে চাই তা হল কোনো একক অংশ সঠিক কিনা, তা নয়, বরং সামগ্রিক আর্টিফ্যাক্টটি নির্মাতার উদ্দেশ্যের সাথে মেলে কিনা, এবং খেলোয়াড়রা পুরো অভিজ্ঞতাটি খেলতে পারে কিনা। এর উত্তর দিতে একের বেশি মেট্রিক প্রয়োজন।

চারটি সংকেত, একটি কাঠামো

আমাদের বিল্ড তৈরি মূল্যায়ন ফ্রেমওয়ার্ক চারটি সংকেত একত্রিত করে। প্রতিটি ভিন্ন একটি প্রশ্নের উত্তর দেয়, ভিন্ন ধরনের ব্যর্থতা সনাক্ত করে, এবং একটি নির্দিষ্ট পরিমাণগত স্কোর প্রদান করে:

১. গেম স্পেসিফিকেশন গুণমান (০ - ১০০ স্কোর): বিল্ড হল একটি এন্ড-টু-এন্ড সৃষ্টিকারী এজেন্ট: এটি নির্মাতার প্রম্পটকে একটি স্পেসিফিকেশনে অনুবাদ করে, তারপর সেটি ব্যবহার করে গেম তৈরি করে। মূল্যায়নকারী মূল্যায়ন করে যে স্পেসিফিকেশনটি গুরুত্বপূর্ণ সিদ্ধান্তগুলো স্পষ্টভাবে নিয়েছে কি না, নির্মাতার উদ্দেশ্য সংরক্ষণ করেছে কি না, Roblox-এর রানটাইমের মধ্যে বাস্তবায়নযোগ্যতা বিবেচনা করেছে কি না, এবং কখনোই প্রকাশ না করা প্রয়োজনীয়তা উদ্ভাবন থেকে বিরত আছে কি না।

২. স্ট্যাটিক গেম গুণমান (০ - ১০০ স্কোর): স্ট্যাটিক প্লেস ইভ্যালুয়েটর Roblox Studio-এর এডিট মোডে তৈরি গেমটি পরিদর্শন করে। এতে গেমের কাঠামো, স্ক্রিপ্ট, অ্যাসেট, প্রপার্টি, সংযোগ এবং ক্লায়েন্ট/সার্ভার সীমানা অন্তর্ভুক্ত। এই পর্যায়ে আমরা দুটি প্রশ্নের উত্তর খুঁজতে চাই। প্রথমটি হল গেমটি সঠিকভাবে তৈরি হয়েছে কি না: প্রয়োজনীয় সিস্টেমগুলির বাস্তবায়ন, ইঞ্জিন-API এবং নেটওয়ার্কিং পছন্দ, প্রত্যাশিত নিয়ন্ত্রণ এবং UI উপাদানগুলির উপস্থিতি, গেম আর্কিটেকচারের দৃঢ়তা এবং সঙ্গতি। 

দ্বিতীয়টি হলো এটি কি মজাদারভাবে ডিজাইন করা হয়েছে: মূল লুপের গভীরতা, বিষয়বস্তুর বৈচিত্র্য ও বৃদ্ধি, অগ্রগতি, পুনরায় খেলার যোগ্যতা, এবং কোনো ঘরানার ডিফল্টের বাইরে উদ্ভাবন। একটি গেম স্থাপত্যগতভাবে পরিচ্ছন্ন হতে পারে কিন্তু বিষয়বস্তুর গভীরতা নাও থাকতে পারে, অথবা ধারণা-সমৃদ্ধ কিন্তু দুর্বলভাবে সংযুক্ত হতে পারে। 

এই দুই দৃষ্টিভঙ্গিকে আলাদা করে এবং সেরা অনুশীলনের বিরুদ্ধে পরিমাপ করলে আমরা আরও সূক্ষ্মভাবে জানতে পারি গেমটি কোথায় ব্যর্থ হচ্ছে।

৩. প্লেটেস্ট (০ - ১০০% পাস রেট): প্লেটেস্ট মূল্যায়ক গেমটি চালান এবং কোড থেকে ইভেন্ট ফায়ার করার পরিবর্তে ট্যাপ, ক্লিক, কীস্ট্রোক এবং নেভিগেশনসহ বাস্তব খেলোয়াড়ের মতো ইনপুট দিয়ে একটি টেস্ট প্ল্যান কার্যকর করেন। প্রতি-কেস টেস্ট প্ল্যান যাচাই করে যে গেমটি চালু হয়, প্রতিক্রিয়া জানায়, অগ্রসর হয়, ব্যর্থতা থেকে পুনরুদ্ধার করে এবং রানটাইম ত্রুটিমুক্ত থাকে। প্রতিটি আইটেম বাইনারি পাস/ফেইল হিসেবে রিপোর্ট করা হয়, পাশাপাশি একটি স্তর-ওজনযুক্ত পাস রেট এবং একটি সাধারণ 'খেলযোগ্য/অখেলযোগ্য' সিদ্ধান্তও জানানো হয়। আমরা ধারাবাহিকতা পরিমাপ করতে রানগুলো পুনরায় চালাই।

৪. ভিজ্যুয়াল এবং অভিজ্ঞতার গুণমান (০ - ১০০ স্কোর): একটি গেমের চেহারা এবং অনুভূতির জন্য সবচেয়ে গুরুত্বপূর্ণ কিছু বিষয় কোড থেকে পড়া যায় না, তাই ভিজ্যুয়াল মূল্যায়ক বিভিন্ন ডিভাইসের প্রতিনিধিত্বকারী ভিউপোর্টে ধারণকৃত গেমপ্লে ব্যবহার করে উপস্থাপনা স্বতন্ত্রভাবে মূল্যায়ন করে। এই মূল্যায়নসূচি শুধুমাত্র অ্যাসেট কারুশিল্প, UI সমাপ্তি, গতি, আলো এবং অডিওর ভিত্তিতে গেমটি দেখতে এবং শুনতে কেমন লাগে তা দেখে। মূল প্রশ্ন হল: গেমটি কি শিপযোগ্য পণ্যের মতো মনে হচ্ছে, নাকি একটি প্রোটোটাইপের মতো? ভিজ্যুয়ালকে মেকানিক্স থেকে আলাদা রাখার অর্থ হল "কোড কাজ করে" এবং "গেমটি শেষের মতো দেখায়" একত্রিত হয়ে বিভ্রান্তিকর স্কোর তৈরি করে না।

স্কোরকৃত সংকেতগুলোর পাশাপাশি, প্রতিটি রান শুধুমাত্র তথ্যবহুল মেট্রিক্স সংগ্রহ করে, যেমন টোকেন ব্যবহার, টুল কল, সক্রিয় হওয়া দক্ষতা এবং ল্যাটেন্সি। এই মেট্রিক্সগুলো মূল্যায়ন স্কোর পরিবর্তন করে না, তবে এগুলো ফলাফল কীভাবে তৈরি হয়েছে তা ব্যাখ্যা করতে পারে এবং রুব্রিকগুলো যেসব অবনতি মিস করে সেগুলো ধরতে পারে, যেমন একই গেমের জন্য বিল্ডের খরচ দ্বিগুণ হয়ে যাওয়া।

সিগন্যালগুলো সেগুলো যেসব ব্যর্থতা ধরে, সেগুলোর সাথে মানানসই:

একটি প্রম্পটকৃত 3D ওবি কোর্স হাঁটা

সিগন্যালগুলো আসল প্রম্পটে সবচেয়ে সহজে দেখা যায়। উদাহরণস্বরূপ, "একটি প্রকৃত 3D ওবি গেম, যার মধ্যে থাকবে একটি স্টার্ট প্ল্যাটফর্ম, চলমান বিপদ, চেকপয়েন্ট এবং ফিনিশ লাইন।" ওবিগুলো Roblox-এ জনপ্রিয় একটি প্ল্যাটফর্মিং গেম ধরন। নির্মাতার উদ্দেশ্য স্পষ্ট, যদিও এটি প্রতিটি বাস্তবায়নগত বিবরণ নির্ধারণ করে না। বিল্ডকে যুক্তিসঙ্গত অনুমান নিয়ে সেই বিবরণগুলো পূরণ করতে হবে।

পরিকল্পনা ও স্পেসিফিকেশন

Build একটি নতুন গেমের জন্য একটি স্পেক ডক তৈরি করেছে, যার নাম Skyforge Ascent, যা চেকপয়েন্টসহ পাঁচটি অংশের কোর্স এবং তিনটি বিপদ ধরনের বিস্তারিত বর্ণনা করে। এতে মূল লুপ, কঠিনতা বক্ররেখা, আর্ট দিকনির্দেশনা, স্ক্রিন, ওভারলে এবং নিয়ন্ত্রণ নির্ধারণ করা হয়েছে। স্পেক ইভ্যালুয়েশন এটিকে 100-এ 91 নম্বর দিয়েছে, সম্পূর্ণতা, সময়মত অনুসরণ, বাস্তবায়নযোগ্যতা এবং অভ্যন্তরীণ সামঞ্জস্যে পূর্ণ নম্বর অর্জন করেছে। নম্বর কমানো হয়েছে দুটি নির্দিষ্ট দিকের জন্য: বাস্তবায়ন বিস্তারিত এবং গ্রহণযোগ্যতা-মানদণ্ডের কভারেজ। 

স্পেসপেস তার সংখ্যাগত ধ্রুবকগুলো—যেমন স্পিন গতি, স্লাইড দূরত্ব, টাইল সময়কাল, প্ল্যাটফর্মের মাত্রা বা রিসেট-প্লেনের উচ্চতা—নির্দিষ্ট করেনি, তাই একজন ইঞ্জিনিয়ারকে সেগুলো উদ্ভাবন করতে হয়। অতিরিক্তভাবে, কিছু গ্রহণযোগ্যতার মানদণ্ড (যেমন "প্রায় ২৪টি প্ল্যাটফর্ম" বা "সেলestial-forge প্যালেট") কঠোরভাবে ভুল প্রমাণযোগ্য নয়। একটি উচ্চ স্পেস স্পেক স্কোর শুধুমাত্র প্রমাণ করে যে ডকুমেন্টটি নির্মাণ-প্রস্তুত। পরবর্তী তিনটি ধাপ পরিমাপ করে যে সেই প্রতিশ্রুতিগুলো বাস্তব গেম ডেভেলপমেন্টের সংস্পর্শে টিকে থাকবে কিনা।

স্থিতিশীল যাচাইকরণ: কোডের গুণমান এবং বিষয়বস্তুর গুণমান

ভার্চুয়াল বিচারক Skyforge Ascent-এর প্লেসফাইলটি না চালিয়েই পরিদর্শন করেছেন, এবং দুইটি মূল্যায়ন লেন্স ভিন্ন সিদ্ধান্তে পৌঁছেছে।

ইঞ্জিনিয়ারিং লেন্স একই প্লেসফাইল পড়ে এটিকে ৯৮/১০০ স্কোর দিয়েছে। এটি পাঁচটি সেকশন এবং তিনটি চলমান বিপদসহ একটি আদর্শ বিল্ড খুঁজে পেয়েছে, যা সার্ভার-কর্তৃত্বশীল ধারাবাহিক চেকপয়েন্ট, ফল-রিসেট সিস্টেম এবং স্টাইলশীট ফ্রেমওয়ার্কের উপর নির্মিত UI ব্যবহার করে নির্মাতার উদ্দেশ্য সম্পূর্ণরূপে পূরণ করেছে। স্পেসিফিকেশনে বর্ণিত সবকিছুই বাস্তবায়ন করা হয়েছে। একমাত্র সমস্যা ছিল দুটি অব্যবহৃত হেল্পার ফাংশন এক্সপোর্ট।

ডিজাইন লেন্স এটিকে 31/100 স্কোর দিয়েছে। সবকিছু কাজ করলেও গেমটি অগ্রগতি, পুনরায় খেলার যোগ্যতা, খেলোয়াড়ের স্বাধীনতা এবং মূল আকর্ষণে শূন্য পেয়েছে। মূল লুপটি ছিল সহজ এবং সরল—প্রতিটি চেকপয়েন্টে পৌঁছাও, ফিনিশ লাইন পার হও—যা প্রতিটি খেলায় খুব কম বৈচিত্র্য নিয়ে আসে এবং দ্বিতীয়বার খেলার কোনো কারণ রাখে না। এটি একটি obby ঘরানার অপরিহার্য উপাদান, নিজস্ব কোনো আকর্ষণ নেই।

এই ফাঁকটাই আবিষ্কার। কোডের গুণমান এবং বিষয়বস্তুর গুণমান মৌলিকভাবে ভিন্ন মাত্রা, এবং একটি বিল্ড একটিতে প্রায় নিখুঁত হতে পারে অথচ অন্যটিতে ব্যর্থ হতে পারে। একটি একক মিশ্রিত গুণমান স্কোর এগুলোকে গড়ে কোনো অর্থহীন ফলাফলে পরিণত করত।

প্লেটেস্ট

প্লেটেস্ট এজেন্ট বাস্তব খেলোয়াড়ের মতো ইনপুট ব্যবহার করে রানিং গেমটি খেলে এবং টেস্ট প্ল্যানে থাকা সব নয়টি আইটেম সফলভাবে সম্পন্ন করেছে: স্টার্ট প্ল্যাটফর্মে একটি চরিত্র স্পন করা, ফাঁকফোকর পেরিয়ে ৩ডি জ্যামিতিতে নেভিগেট করা, বিপদজনক সংঘর্ষের প্রভাব নেওয়া, চেকপয়েন্ট ট্রিগার করা এবং স্বয়ংক্রিয় পতন পুনরুদ্ধার, রান সম্পন্ন করা, এবং রিস্টার্ট করা—সবই শূন্য রানটাইম ত্রুটির সঙ্গে। এই নির্দিষ্ট রানে Skyforge Ascent প্লেটেস্টে ১০০/১০০ স্কোর করেছে।

একটি নিখুঁত প্লেটেস্ট স্কোর কেবল প্রমাণ করে যে গেমের মেকানিক্স কাজ করছে এবং গেমটি শুরু থেকে শেষ পর্যন্ত প্রযুক্তিগতভাবে খেলার যোগ্য। এটি গেমটি আসলেই আকর্ষণীয় বা খেলতে মজার কিনা সে সম্পর্কে কিছুই বলে না—এই পার্থক্যই ঠিক সেই কারণ যার জন্য ডিজাইন লেন্স এটিকে ৩১ স্কোর দিয়েছে।

দৃশ্যমান গুণমান

অবশেষে, মূল্যায়ন সিস্টেম ভিজ্যুয়াল উপস্থাপনার জন্য একটি ফোন-আকারের ভিউপোর্টে রেকর্ডকৃত সেশনটিকে স্কোর করেছে। Skyforge Ascent ৮৬/১০০ স্কোর করেছে: পরিষ্কার, সুসংগঠিত, এবং একটি সাধারণ obby-এর ভিজ্যুয়ালের সাথে স্বাচ্ছন্দ্যে সামঞ্জস্যপূর্ণ; পাঠযোগ্য প্ল্যাটফর্মিং জিওমেট্রি; স্পষ্ট বিপদ; এবং একটি আধুনিক, অপ্রয়োজনীয় হস্তক্ষেপহীন HUD। কিছু ছোটখাটো ভিজ্যুয়াল সীমাবদ্ধতা এটিকে নিখুঁত হতে বাধা দেয়, তবে কিছুই ভাঙা নেই, এবং এমন কিছুই নেই যা একজন খেলোয়াড়কে স্ক্রোল করা বন্ধ করতে বাধ্য করবে।

ট্রেস মেট্রিক্স

একই রান রেকর্ডকৃত প্রক্রিয়া মেট্রিক্সও পরিমাপ করেছে। গেমটি তৈরি হতে প্রায় আট মিনিট সময় নিয়েছিল, কোনো টুল ত্রুটি ছিল না, এবং বিল্ড ৩ডি, ইউআই, স্ক্রিপ্ট সম্পাদনা, অ্যাসেট সংযোজন, এবং গেম অডিও দক্ষতা ব্যবহার করেছিল। এই মেট্রিক্সগুলি সরাসরি মূল্যায়ন স্কোরকে প্রভাবিত করে না, তবে এগুলি আমাদের জানায় গেমটি কীভাবে তৈরি করা হয়েছে এবং কোনো লাভ ছাড়াই ধীর বা ব্যয়বহুল হয়ে গেলে ভবিষ্যতের কোনো বিল্ডকে চিহ্নিত করবে।

পাঁচটি ধাপে, Skyforge Ascent গেম স্পেসিফিকেশন, কোডের গুণমান, কন্টেন্টের গুণমান, প্লেটেস্ট এবং ভিজ্যুয়াল গুণমানে ভিন্নভাবে স্কোর করেছে। এর চারটি মাত্রা বলে যে Build একটি একক প্রম্পটকে সম্পূর্ণ, সঠিক, খেলযোগ্য এবং উপস্থাপনযোগ্য Roblox অভিজ্ঞতায় পরিণত করতে পারে। একটি মাত্রা বলে এটি এমন একটি গেম নয় যা কেউ দুবার খেলতে চাইবে। সেই ফাঁকটি গড় করে মুছে ফেলার পরিবর্তে পরিমাপ করাই Build মূল্যায়নের মূল উদ্দেশ্য।

প্রাথমিক মূল্যায়ন কীভাবে Build-কে উন্নত করেছে 

মূল্যায়ন ফলাফল শুধুমাত্র স্কোর তৈরি করে না, বরং পণ্য উন্নয়নের জন্য কার্যকর দিকনির্দেশনাও প্রদান করে। পৃথক উপাদান ডিবাগিং এবং সামগ্রিক সিস্টেম-স্তরের পরীক্ষার সমন্বয়ের মাধ্যমে, মানসম্মত প্রম্পট স্যুট জুড়ে অফলাইন ব্যাচ মূল্যায়ন সরাসরি Build-এর উন্নয়নকে গড়ে তুলেছে। 

1. অ্যালফা নির্মাতাদের সমস্যা দ্রুত সমাধান: আমাদের নিউজিল্যান্ড অ্যালফা লঞ্চে, ব্যবহারকারীরা আমাদের জানিয়েছিলেন যে তারা যখন 3D গেম চান, তখন Build কখনও কখনও 2D গেম তৈরি করে। মূল্যায়ন ফ্রেমওয়ার্ক আমাদের দলকে দ্রুত Build-এর 3D সক্ষমতা উন্নত করতে সাহায্য করেছে। দুই সপ্তাহের মধ্যে, আমরা Build-এর এমন সক্ষমতা উন্নত করেছি যে এটি ব্যবহারকারীর 3D গেম তৈরির ইচ্ছা বুঝতে পারে—যদিও তারা তা স্পষ্টভাবে উল্লেখ না করলেও। আমরা বস্তুর অবস্থান, আলো ইত্যাদি সংক্রান্ত সাধারণ সমস্যাগুলো সমাধান করে 3D খেলার উপযোগিতা এবং পরিশীলিততা উন্নত করেছি। তারপর থেকে "আমি যা চাই তা নয়" ধরনের অভিযোগ সব অভিযোগের মধ্যে ১৮% থেকে ৩% এ নেমে এসেছে; প্লেটেস্টের পর সামগ্রিক অসন্তোষের প্রতিক্রিয়া ১০% পয়েন্ট কমেছে। ফ্রেমওয়ার্কটিতে পুনরাবৃত্তি করার সময় আমরা আরও অনেক কিছু শিখেছি। 
2. মডেল এবং আর্কিটেকচারের তুলনামূলক বেঞ্চমার্কিং: আমরা আমাদের মূল্যায়ন ফ্রেমওয়ার্ক ব্যবহার করে স্ট্যান্ডার্ডাইজড প্রম্পট স্যুটের বিরুদ্ধে বিল্ড সিস্টেম কনফিগারেশনগুলিকে কঠোরভাবে বেঞ্চমার্ক করি। প্রোডাকশনে পরিবর্তনগুলি পাঠানোর আগে, অফলাইন A/B মূল্যায়ন রিপোর্টগুলি চারটি মাত্রার সবকটি জুড়েই প্রার্থী রিলিজগুলিকে আমাদের প্রোডাকশন বেসলাইনের বিরুদ্ধে তুলনা করে: 

উদাহরণস্বরূপ, এই অফলাইন ডিফস আমাদেরকে পৃথকভাবে মডেল আপগ্রেড এবং এজেন্ট রাউটিং সিদ্ধান্তগুলো কীভাবে পৃথক গুণগত মানের সংকেতগুলোকে প্রভাবিত করে তা আলাদা করে দেখতে দেয়:

• বেস মডেলের কর্মক্ষমতা: আমাদের বেস মডেল আপগ্রেড প্রতিটি সিগন্যাল জুড়ে ধারাবাহিক উন্নতি এনেছে—যার ফলে প্রথম চেষ্টায় ভেঙে যাওয়া বিল্ডের সংখ্যা কমেছে, ভিজ্যুয়াল পলিশ উন্নত হয়েছে এবং গেমপ্লের বিষয়বস্তু আরও গভীর হয়েছে।
• এজেন্ট রাউটিং আর্কিটেকচার: বিপরীতে, দ্বৈত-এজেন্ট সেটআপে নির্দিষ্ট উপ-কার্যগুলি একটি হালকা মডেলের কাছে অর্পণ করার ফলে বিষয়বস্তুর গভীরতা ও বৈচিত্র্য রক্ষা পেলেও, খেলার যোগ্যতা ও ভিজ্যুয়াল ফিনিশে তীব্র পতন ঘটে।

1. সৃষ্টি প্রক্রিয়ার বিভিন্ন প্যারাদাইম জুড়ে গুণগত মানের ভিত্তি রেখা ট্র্যাক করা: আমরা এই ফ্রেমওয়ার্কটি ব্যবহার করি বিভিন্ন সময়ে সবচেয়ে প্রাসঙ্গিক মূল্যায়ন সেটের মাধ্যমে বিকাশের বর্তমান গুণগত মান বোঝার জন্য। এই সেটগুলো ক্রমবর্ধমান বিস্তৃত ও জটিল সৃষ্টি কাজের স্ন্যাপশট প্রদান করে।
   সবচেয়ে প্রাথমিক সেটটি সম্পূর্ণরূপে 2D গেম নিয়ে গঠিত, যার মেকানিজম তুলনামূলকভাবে সহজ। গেমের লজিক তৈরি করা সহজ ছিল, তাই প্লেটেস্ট স্কোর সাধারণত বেশি হতো; অন্যদিকে, একই কারণে কন্টেন্ট স্কোর কমই থাকত।
   যখন আমরা ফোকাস ৩ডি গেমে সরাই, স্কোরের বণ্টন স্বাভাবিকভাবেই পরিবর্তিত হয়: বাগ-মুক্ত খেলা আরও চ্যালেঞ্জিং হয়ে ওঠে, ফলে প্লেটেস্ট স্কোর কমে যায়। ভিজ্যুয়াল স্কোর স্থিতিশীল থাকে কারণ অ্যাসেটের পলিশের অভাব, যা গেমগুলোকে প্রোটোটাইপের মতো অনুভূতি দেয়। কন্টেন্ট স্কোর বেশি থাকে কারণ ৩ডি গেমের গভীরতার সম্ভাবনা বেশি—কিন্তু সামগ্রিক স্কোর সাধারণত কমই থাকে, কারণ একক-টার্ন প্রম্পটগুলো কন্টেন্ট সম্প্রসারণের জন্য সীমিত সুযোগ দেয়।

1. জেনার-নির্দিষ্ট বাধা উদঘাটন: মূল্যায়ন ডেটা বিভিন্ন জেনার জুড়ে উল্লেখযোগ্য কর্মক্ষমতা পার্থক্যও তুলে ধরে। যেসব জেনার প্লে মেকানিক্স-নির্ভর (যেমন RPG, শুটার, রেসিং গেম) সেগুলোতে সাধারণত আরও বেশি খেলার উপযোগিতা সংক্রান্ত সমস্যা দেখা যায়। তুলনামূলকভাবে সহজ লজিকের ঘরানা (যেমন সারভাইভাল ও টাইকুন গেম) প্রায়ই প্লেটেস্টে ভালো পারফর্ম করে, ফলে ভিজ্যুয়াল পলিশ ও UI ডিজাইন পরবর্তী সমাধানযোগ্য মাইলফলক হয়ে দাঁড়ায়। ঘরানার পার্থক্য জানা আমাদেরকে Build গেমগুলোর মধ্যে আরও সুষম নমুনা নিয়ে আমাদের মূল্যায়ন সেট বিস্তৃত করতে উৎসাহিত করে।
2. মূল্যায়ন হার্নেস ডিজাইনে শেখা পাঠ: ফ্রেমওয়ার্কটিতেই পুনরাবৃত্তি করার মাধ্যমে আমরা হার্নেসের নির্ভরযোগ্যতা সম্পর্কে গুরুত্বপূর্ণ পাঠ শিখেছি:

• সিস্টেম মেট্রিক্স বনাম উপাদান মেট্রিক্স: পরিচ্ছন্ন কোড কাঠামো বা API ব্যবহার একটি খেলার যোগ্য গেম নিশ্চিত করে না। আমরা সঠিকতা, ডিজাইন এবং উপস্থাপনা আলাদা রাখি যাতে কার্যকর বাগ লুকিয়ে না পড়ে।
• হ্যারনেসের দুর্বলতা এবং মানব ক্যালিব্রেশন: স্ট্যাটিক চেকগুলো গেম ক্র্যাশ করা রানটাইম ব্লকার মিস করতে পারে, আর স্বয়ংক্রিয় প্লেটেস্টগুলো জটিল পদার্থবিজ্ঞানের সাথে লড়াই করে। ভার্চুয়াল বিচারকদের পেশাদার গেম ডেভেলপার এবং অভিজ্ঞ কমিউনিটি রিভিউয়ারদের বিরুদ্ধে ক্রমাগত ক্যালিব্রেট করা হয়।
• মাল্টিটার্ন এবং বাস্তব ট্র্যাফিকে সম্প্রসারণ: কারণ প্রকৃত নির্মাতারা অবিরাম পুনরাবৃত্তি করেন (নতুন সিস্টেম যোগ করা, কঠিনতা সামঞ্জস্য করা, বাগ ফিক্স করা), আমরা আমাদের ইভ্যাল হার্নেসকে মাল্টিটার্ন সম্পাদনা এবং বাস্তব-বিশ্বের প্রম্পট বণ্টন মূল্যায়নের জন্য সম্প্রসারিত করছি।

এরপর কী

আমরা বর্তমানে আমাদের বিল্ড তৈরি মূল্যায়ন সিস্টেমকে পাঁচটি দিকে সম্প্রসারণে মনোনিবেশ করছি:

1. বিভিন্ন ঘরানা, 2D/2.5D/3D অভিজ্ঞতা, মাল্টিপ্লেয়ার পরিস্থিতি এবং জটিলতার স্তরে বিস্তৃত কভারেজ
2. বহু-পর্যায়ের সম্পাদনার জন্য আরও শক্তিশালী সমর্থন
3. আরও নির্ভরযোগ্য প্লেটেস্ট, স্ক্রিনশট, ভিডিও এবং অডিও প্রমাণ
4. ব্যাপক পরিসরে মানব রেটিং এবং নির্মাতা-নেতৃত্বাধীন বেঞ্চমার্ক কেসগুলির সাথে সামঞ্জস্য
5. অফলাইন মূল্যায়ন, অনলাইন পণ্য সংকেত এবং রিগ্রেশন পরীক্ষার মধ্যে আরও উন্নত সমন্বয়

আমাদের দীর্ঘমেয়াদী লক্ষ্য হল একটি স্বচ্ছ, ক্রমাগত উন্নত হচ্ছে এমন মূল্যায়ন সিস্টেম যা নির্মাতারা যত্ন করে এমন স্তরে Build-কে পরিমাপ করে: তারা যে অভিজ্ঞতা তৈরি, পরীক্ষা, শেয়ার এবং আরও উন্নত করতে পারে তার গুণমান। আজ, এই সংকেতগুলি Build-উত্পাদিত গেমগুলি মূল্যায়নে ব্যবহৃত হয়। সময়ের সাথে সাথে, যখন আমরা এগুলিকে মানববিচারের বিরুদ্ধে আরও পরিমার্জন ও ক্যালিব্রেট করব, তখন এগুলি অন্যান্য সৃজনশীল কর্মপ্রবাহে সাধারণীকৃত হতে পারে এবং বিস্তৃত Roblox ইকোসিস্টেম জুড়ে গেমের গুণমান বোঝার জন্য একটি সাধারণ ভাষা প্রদান করতে সাহায্য করতে পারে।

Roblox Assistant-এর এজেন্টিক সিস্টেম মূল্যায়নের একটি সম্পর্কিত দৃষ্টিভঙ্গির জন্য, দেখুন Using OpenGameEval to Benchmark Agentic AI Assistants for Roblox Studio।