బిల్డ్ గేమ్ సృష్టిని రోబ్లాక్స్ ఎలా మూల్యాంకనం చేస్తుంది

మా కొత్త మొబైల్-ఫస్ట్ సృష్టి సాధనం అయిన బిల్డ్, ఒక రోబ్లాక్స్ వినియోగదారునికి టెక్స్ట్ ప్రొంప్ట్‌లను ఉపయోగించి ఒక గేమ్‌ను సృష్టించడానికి మరియు దానిని ప్రపంచవ్యాప్తంగా ఉన్న ఆటగాళ్లకు ప్రచురించడానికి అనుమతిస్తుంది. ఒక సమగ్రమైన గేమ్‌ను రూపొందించడానికి గేమ్ జనరేషన్ కోసం ఒక ఎండ్-టు-ఎండ్ ఏజెంటिक సిస్టమ్ అవసరం: ఇది కోడ్, విజువల్ ఆస్తులు, గేమ్‌ప్లే సిస్టమ్స్, UI, మరియు నియంత్రణలను ఒకే సంయుక్త ఆర్టిఫ్యాక్ట్‌గా సమన్వయం చేస్తుంది. ఆటగాళ్ల ఇన్‌పుట్ మరియు మల్టీప్లేయర్ ఇంటరాక్షన్‌లతో ఉత్పన్నమయ్యే వివిధ దృశ్యాలను ఈ సిస్టమ్ దృఢంగా నిర్వహించాలి. న్యూజిలాండ్‌లో ఆల్ఫా లాంచ్ అయినప్పటి నుండి, 100,000 కంటే ఎక్కువ మంది ఆటగాళ్ళు గేమ్ సృష్టించడానికి బిల్డ్‌ను ఉపయోగించారు, మరియు సుమారు 9,000 బిల్డ్ గేమ్‌లు ప్రచురించబడ్డాయి.¹ గేమ్ సృష్టించడానికి బిల్డ్‌ను ఉపయోగించిన వేలాది మందిలో, 71% మంది ఇంతకు ముందు రాబ్లాక్స్ స్టూడియోను ఎప్పుడూ ఉపయోగించలేదు,¹ ఇది వారు బిల్డ్‌తో కొత్తదాన్ని ప్రయత్నిస్తున్నారని చూపిస్తుంది.

కానీ సృష్టికర్తలు ఈ కొత్త సాధనాన్ని ఉపయోగించడం సులభంగా ఉంటే మరియు అది రూపొందించే ఆటల నాణ్యత తదుపరి అభివృద్ధికి తగినంతగా ఉన్నప్పుడే ఉపయోగిస్తారు. బిల్డ్‌తో సృష్టించబడిన ఆటల నాణ్యతను అర్థం చేసుకోవడానికి, మేము మొత్తం సృష్టి ప్రయాణాన్ని మూల్యాంకనం చేస్తాము మరియు ఉత్పత్తిని మెరుగుపరచడానికి ఆ మూల్యాంకనాలతో పాటు సృష్టికర్తల అభిప్రాయాన్ని ఉపయోగిస్తాము. మా మూల్యాంకన (eval) ఫ్రేమ్‌వర్క్, ఉద్దేశ్య అవగాహన, 3D ఆట సామర్థ్యం, మరియు మెరుగుదలను ప్రాధాన్యతా క్రమంలో పెట్టడానికి మరియు మెరుగుపరచడానికి మాకు సహాయపడింది. న్యూజిలాండ్‌లో బిల్డ్ యొక్క ఆల్ఫా ప్రారంభం నుండి, సృష్టికర్తల సంతృప్తి 10% మెరుగుపడింది, అనుకోని ఫలితాలు 18% నుండి 3%కి తగ్గాయి, మరియు ప్రారంభించబడిన సెషన్‌లలో సుమారు 14% మరియు ప్లేటెస్ట్‌లలో 19% ప్రచురించబడ్డాయి.² ఇవి పురోగతికి వర్ణనాత్మక సూచికలు, కేవలం మూల్యాంకన ప్రభావం యొక్క కారణ అంచనాలు కావు.

గేమ్ క్రియేషన్‌ను మూల్యాంకనం చేయడం ఎందుకు భిన్నంగా ఉంటుంది

యాప్‌లు, వీడియోలు మరియు ప్రపంచ నమూనాల వంటి సంయుక్త ఫలితాలను ఉత్పత్తి చేసే ఇతర వ్యవస్థలలో కనిపించే కొన్ని అంచనా సవాళ్లను గేమ్‌లు కూడా పంచుకుంటాయి. ఉదాహరణకు, నాణ్యత అనేది బహుళ భాగాలు కలిసి ఎలా పనిచేస్తాయనే దానిపై ఆధారపడి ఉంటుంది, మరియు ఏ ఒక్క భాగం స్కోరు కూడా ఫలితాన్ని పూర్తిగా వివరించదు. 

గేమ్‌లను ప్రత్యేకంగా నిలిపే విషయం ఏమిటంటే, ఆ ఆర్టిఫ్యాక్ట్ అనేది ఆటగాళ్లచే నడపబడే ఒక అమలు చేయగల, నిజ-సమయ వ్యవస్థ. ప్రతిస్పందన, స్వయంప్రతిపత్తి, పురోగతి, మరియు గేమ్ అనుభూతి వంటి లక్షణాలు పరస్పర చర్య ద్వారా ఉద్భవిస్తాయి మరియు కోడ్ లేదా ఆస్తులను (assets) పరిశీలించడం ద్వారా మాత్రమే వాటిని పూర్తిగా అంచనా వేయలేము. అందువల్ల ఒక గేమ్ తక్కువ-స్థాయి సరైనతనం (లోపాలు లేకుండా మరియు ఆడటానికి వీలుగా ఉండటం), అలాగే ఉన్నత-స్థాయి ఆటగాడి అనుభవం (ఒక ప్రోటోటైప్ కాకుండా, పూర్తయినట్లు అనిపించే గేమ్) అనే ప్రత్యేకంగా ఉన్నతమైన ప్రమాణాలను అందుకోవాలి. 

మనం మూల్యాంకనం ద్వారా సమాధానం తెలుసుకోవాలనుకుంటున్న ప్రశ్న ఏదైనా ఒక భాగం సరైనదా కాదా అనేది కాదు, బదులుగా సమగ్రమైన ఆర్టిఫ్యాక్ట్ సృష్టికర్త ఉద్దేశ్యానికి సరిపోయేలా ఉందా, మరియు ఆటగాళ్ళు మొత్తం అనుభవాన్ని పూర్తిగా ఆడగలరా అనేది. దానికి సమాధానం ఇవ్వడానికి ఒకటి కంటే ఎక్కువ కొలమానాలు అవసరం.

నాలుగు సంకేతాలు, ఒక ఫ్రేమ్‌వర్క్

మా బిల్డ్ క్రియేషన్ మూల్యాంకన ఫ్రేమ్‌వర్క్ నాలుగు సిగ్నల్స్‌ను మిళితం చేస్తుంది. ప్రతిది ఒక విభిన్నమైన ప్రశ్నకు సమాధానం ఇస్తుంది, విభిన్న రకమైన వైఫల్యాన్ని పట్టుకుంటుంది, మరియు ఒక నిర్దిష్ట పరిమాణాత్మక స్కోర్‌ను అందిస్తుంది:

1. గేమ్ స్పెసిఫికేషన్ నాణ్యత (0 - 100 స్కోరు): బిల్డ్ అనేది ఎండ్-టు-ఎండ్ సృష్టికర్త: ఇది సృష్టికర్త యొక్క ప్రాంప్ట్‌ను ఒక స్పెసిఫికేషన్‌గా అనువదించి, ఆపై ఆ గేమ్‌ను రూపొందించడానికి దానిని ఉపయోగిస్తుంది. స్పెసిఫికేషన్ ముఖ్యమైన నిర్ణయాలను స్పష్టంగా తీసుకుంటుందా, సృష్టికర్త యొక్క ఉద్దేశ్యాన్ని కాపాడుకుంటుందా, Roblox యొక్క రన్‌టైమ్‌లో సాధ్యతను పరిగణిస్తుందా, మరియు ఎప్పుడూ వ్యక్తపరచని అవసరాలను కనిపెట్టకుండా ఉంటుందా అని మూల్యాంకనకర్త అంచనా వేస్తుంది.

2. స్టాటిక్ గేమ్ నాణ్యత (0 - 100 స్కోరు): స్టాటిక్ ప్లేస్ మూల్యాంకనకర్త Roblox స్టూడియో ఎడిట్ మోడ్‌లో రూపొందించబడిన గేమ్‌ను తనిఖీ చేస్తుంది. ఇందులో గేమ్ నిర్మాణం, స్క్రిప్ట్‌లు, ఆస్తులు, ప్రాపర్టీలు, కనెక్షన్‌లు మరియు క్లయింట్/సర్వర్ సరిహద్దులు ఉంటాయి. ఈ దశలో మేము రెండు ప్రశ్నలకు సమాధానం ఇవ్వాలని చూస్తాము. మొదటిది, గేమ్ సరిగ్గా నిర్మించబడిందా అనేది: అవసరమైన సిస్టమ్‌ల అమలు, ఇంజిన్-API మరియు నెట్‌వర్కింగ్ ఎంపికలు, ఆశించిన నియంత్రణలు మరియు UI కాంపోనెంట్‌ల ఉనికి, గేమ్ ఆర్కిటెక్చర్ యొక్క దృఢత్వం మరియు పొందిక. 

రెండవది, అది ఆడటానికి సరదాగా ఉండేలా రూపొందించబడిందా లేదా అనేది: కోర్-లూప్ లోతు, కంటెంట్ వైవిధ్యం మరియు పెరుగుదల, పురోగతి, మళ్లీ ఆడే సామర్థ్యం, మరియు ఒక జానర్‌కు మించి ఆవిష్కరణ. ఒక గేమ్ నిర్మాణాత్మకంగా స్పష్టంగా ఉండవచ్చు కానీ కంటెంట్ లోతు లేకుండా ఉండవచ్చు, లేదా ఆలోచనలతో నిండి ఉండవచ్చు కానీ సరిగ్గా అనుసంధానించబడకపోవచ్చు. 

ఈ రెండు కోణాలను వేరు చేసి, ఉత్తమ పద్ధతులతో పోల్చి చూడటం ద్వారా, గేమ్ ఎక్కడ విఫలమవుతోందో మనకు మరింత సూక్ష్మమైన అవగాహన వస్తుంది.

3. ప్లేటెస్ట్ (0 - 100% పాస్ రేటు): ప్లేటెస్ట్ మూల్యాంకనకర్త కోడ్ నుండి ఈవెంట్‌లను ప్రారంభించడానికి బదులుగా, ట్యాప్‌లు, క్లిక్‌లు, కీస్ట్రోక్‌లు మరియు నావిగేషన్‌తో సహా నిజమైన ఆటగాడిలా ఇన్‌పుట్‌తో గేమ్‌ను రన్ చేసి, ఒక టెస్ట్ ప్లాన్‌ను అమలు చేస్తారు. ప్రతి కేసు టెస్ట్ ప్లాన్, గేమ్ ప్రారంభమవుతుందో, స్పందిస్తుందో, ముందుకు సాగుతుందో, వైఫల్యం నుండి కోలుకుంటుందో మరియు రన్‌టైమ్ లోపాల నుండి విముక్తిగా ఉంటుందో లేదో తనిఖీ చేస్తుంది. ప్రతి అంశం పాస్/ఫెయిల్ అనే ద్విమూలక ఫలితాన్ని ఇస్తుంది, దీనిని సాధారణంగా ఆడగల/ఆడలేని తీర్పుతో పాటు ఒక టైర్-వెయిటెడ్ పాస్ రేటుగా నివేదిస్తారు. స్థిరత్వాన్ని కొలవడానికి మేము రన్‌లను పునరావృతం చేస్తాము.

4. దృశ్య మరియు అనుభవ నాణ్యత (0 - 100 స్కోరు): ఒక గేమ్ యొక్క రూపం మరియు అనుభూతికి అత్యంత ముఖ్యమైన కొన్ని విషయాలను కోడ్ నుండి చదవలేము, కాబట్టి దృశ్య మూల్యాంకనకర్త విభిన్న పరికరాలను సూచించే వ్యూపోర్ట్‌లలో క్యాప్చర్ చేసిన గేమ్‌ప్లేను ఉపయోగించి ప్రదర్శనకు ప్రత్యేకంగా స్కోరు ఇస్తారు. ఈ మూల్యాంకన పట్టిక కేవలం అసెట్ క్రాఫ్ట్, UI ఫినిష్, మోషన్, లైటింగ్ మరియు ఆడియో ఆధారంగా ఒక గేమ్ ఎలా కనిపిస్తుందో మరియు వినిపిస్తుందో మాత్రమే పరిశీలిస్తుంది. ప్రధాన ప్రశ్న ఏమిటంటే: ఈ గేమ్ షిప్పబుల్ ఉత్పత్తిలా అనిపిస్తుందా, లేక ఒక ప్రోటోటైప్‌లా అనిపిస్తుందా? విజువల్స్‌ను మెకానిక్స్ నుండి వేరుగా ఉంచడం వల్ల, "కోడ్ పనిచేస్తుంది" మరియు "గేమ్ పూర్తయినట్లు కనిపిస్తుంది" అనేవి కలిసి ఒక తప్పుదారి పట్టించే స్కోర్‌గా మారవు.

స్కోర్ చేసిన సంకేతాలతో పాటు, ప్రతి రన్ టోకెన్ వినియోగం, టూల్ కాల్స్, ట్రిగ్గర్ చేయబడిన నైపుణ్యాలు మరియు లేటెన్సీ వంటి కేవలం సమాచార ప్రయోజనాల కొలమానాలను (మెట్రిక్స్‌ను) సంగ్రహిస్తుంది. ఈ కొలమానాలు మూల్యాంకన స్కోర్‌ను మార్చవు, కానీ ఒక ఫలితం ఎలా ఉత్పత్తి చేయబడిందో వివరించగలవు మరియు రూబ్రిక్‌లు గుర్తించలేని క్షీణతలను (regressions) పట్టుకోవచ్చు, ఉదాహరణకు, ఒకే గేమ్ కోసం రెండింతల ఖర్చుతో కూడిన బిల్డ్ వంటివి.

ఈ సిగ్నల్స్ అవి పట్టుకునే వైఫల్యాలకు మ్యాప్ చేయబడతాయి:

ప్రేరేపిత 3D ఓబ్బీ కోర్సులో నడవడం

నిజమైన ప్రాంప్ట్‌పై సిగ్నల్స్ సులభంగా కనిపిస్తాయి. ఉదాహరణకు, "ఒక నిజమైన 3D ఓబ్బీ గేమ్, స్టార్ట్ ప్లాట్‌ఫారమ్, కదిలే ప్రమాదాలు, చెక్‌పాయింట్లు, మరియు ముగింపు రేఖతో." ఓబ్బీలు Robloxలో ఒక ప్రసిద్ధ ప్లాట్‌ఫార్మింగ్ గేమ్ రకం. ప్రతి అమలు వివరాలను ఇది నిర్దేశించకపోయినా, సృష్టికర్త ఉద్దేశ్యం స్పష్టంగా ఉంటుంది. సహేతుకమైన ఊహలతో వివరాలు పూరించాల్సిన బాధ్యత బిల్డ్‌పై ఉంటుంది.

ప్లాన్ మరియు స్పెక్

బిల్డ్, స్కైఫోర్జ్ అసెంట్ అనే కొత్త గేమ్ కోసం ఒక స్పెక్ డాక్ ను ఉత్పత్తి చేసింది, ఇది చెక్‌పాయింట్‌లు మరియు మూడు ప్రమాద రకాలతో కూడిన ఐదు-విభాగాల కోసు వివరాలను అందించింది. ఇది కోర్ లూప్, డైఫికల్టీ కర్వ్, ఆర్ట్ డైరెక్షన్, స్క్రీన్‌లు, ఓవర్‌లేలు మరియు నియంత్రణలను నిర్వచించింది. స్పెక్ ఎవల్ దీనికి 91/100 స్కోర్ ఇచ్చింది, పూర్తితనం, తక్షణ అనుసరణ, సాధ్యత మరియు అంతర్గత స్థిరత్వంపై పూర్తి మార్కులను సంపాదించింది. ఈ తగ్గింపు రెండు నిర్దిష్ట అంశాల నుండి వచ్చింది: అమలు వివరాలు మరియు అంగీకార-మాపని కవరేజ్. 

స్పెక్ ఎప్పుడూ దాని సంఖ్యా స్థిరాంకాలను, ఉదాహరణకు స్పిన్ వేగాలు, స్లైడ్ దూరాలు, టైల్ టైమింగ్‌లు, ప్లాట్‌ఫారమ్ కొలతలు, లేదా రీసెట్-ప్లేన్ ఎత్తు వంటి వాటిని పేర్కొనలేదు, కాబట్టి ఒక ఇంజనీర్ వాటిని ఇంకా కనిపెట్టాల్సి ఉంటుంది. అదనంగా, కొన్ని అంగీకార ప్రమాణాలు ("సుమారు 24 ప్లాట్‌ఫారమ్‌లు" లేదా "సెలెస్టియల్-ఫోర్జ్ పాలెట్" వంటివి) ఖచ్చితంగా తప్పు అని నిరూపించలేనివి. అధిక స్పెక్ స్కోరు ఆ పత్రం నిర్మాణానికి సిద్ధంగా ఉందని మాత్రమే నిరూపిస్తుంది. ఆ వాగ్దానాలు వాస్తవ గేమ్ డెవలప్‌మెంట్‌తో సంబంధం పెట్టుకున్నప్పుడు నిలబడతాయా లేదా అనేది తర్వాతి మూడు దశలు కొలుస్తాయి.

స్థిర తనిఖీలు: కోడ్ నాణ్యత మరియు కంటెంట్ నాణ్యత

వర్చువల్ జడ్జ్, స్కైఫోర్జ్ అసెంట్‌ను ఆడకుండానే దాని ప్లేస్‌ఫైల్‌ను తనిఖీ చేసింది, మరియు రెండు మూల్యాంకన దృక్కోణాలు వేర్వేరు నిర్ధారణలకు వచ్చాయి.

అదే ప్లేస్‌ఫైల్‌ను చదివిన ఇంజనీరింగ్ లెన్స్, దానికి 98/100 స్కోర్ ఇచ్చింది. ఇది ఐదు విభాగాలు మరియు మూడు కదిలే ప్రమాదాలతో ఒక ఆదర్శవంతమైన నిర్మాణాన్ని కనుగొంది, ఇది సర్వర్-అథారిటేటివ్ సీక్వెన్షియల్ చెక్‌పాయింట్లు, ఫాల్-రీసెట్ సిస్టమ్స్, మరియు స్టైల్‌షీట్ ఫ్రేమ్‌వర్క్‌పై నిర్మించిన UIని ఉపయోగించి సృష్టికర్త ఉద్దేశ్యాన్ని పూర్తిగా సంతృప్తిపరిచింది. స్పెక్‌లో వివరించిన ప్రతిదీ అందించబడింది. ఒకే ఒక్క సమస్య ఏమిటంటే, ఉపయోగించని రెండు హెల్పర్ ఫంక్షన్ ఎక్స్‌పోర్ట్‌లు ఉండటం.

డిజైన్ కోణం నుండి దీనికి 31/100 స్కోరు ఇచ్చారు. అన్నీ పనిచేశాయి, కానీ ప్రగతి, మళ్లీ ఆడే అవకాశం, ఆటగాడి స్వయంప్రతిపత్తి, మరియు అసలైన ఆకర్షణలో ఈ గేమ్ సున్నా స్కోరు పొందింది. దీని కోర్ లూప్ చాలా సరళంగా మరియు సూటిగా ఉంది—ప్రతి చెక్‌పాయింట్‌ను చేరుకోవడం, ముగింపును దాటడం—వివిధ రౌండ్లలో తక్కువ వైవిధ్యం ఉంది మరియు రెండవసారి ఆడటానికి ఎటువంటి కారణం లేదు. ఇది ఒక 'obby' జానర్‌కు ప్రాతినిధ్యంగా నిలుస్తుంది, తనకంటూ సొంత ఆకర్షణ ఉన్న గేమ్ కాదు.

ఆ అంతరమే కనుగొన్న విషయం. కోడ్ నాణ్యత మరియు కంటెంట్ నాణ్యత అనేవి ప్రాథమికంగా భిన్నమైన పార్శ్వాలు, మరియు ఒక బిల్డ్ ఒకదానిలో దాదాపు పరిపూర్ణంగా ఉంటూనే మరొకదానిలో విఫలమవ్వొచ్చు. ఒకే సంయుక్త నాణ్యత స్కోరు వీటన్నింటినీ సగటు చేసి అర్థంలేనిదిగా చేసివేసేది.

ప్లేటెస్ట్

ప్లేటెస్ట్ ఏజెంట్ నిజమైన ప్లేయర్ లాంటి ఇన్‌పుట్‌ను ఉపయోగించి రన్నింగ్ గేమ్‌ను ఆడి, టెస్ట్ ప్లాన్‌లోని తొమ్మిది అంశాలనూ పూర్తి చేసింది: స్టార్ట్ ప్లాట్‌ఫామ్‌పై ఒక పాత్రను సృష్టించడం, ఖాళీల మీదుగా 3D జ్యామితిలో ప్రయాణించడం, ప్రమాదాల ప్రభావాలను ఎదుర్కోవడం, చెక్‌పాయింట్‌లను ప్రారంభించడం మరియు ఆటోమేటిక్ ఫాల్ రికవరీ, రన్‌ను పూర్తి చేయడం, మరియు పునఃప్రారంభించడం, ఇవన్నీ సున్నా రన్‌టైమ్ లోపాలతో జరిగాయి. ఈ నిర్దిష్ట రన్‌లో, స్కైఫోర్జ్ అసెంట్ ప్లేటెస్ట్‌లో 100/100 స్కోర్ చేసింది.

పరిపూర్ణమైన ప్లేటెస్ట్ స్కోరు, గేమ్ యొక్క మెకానిక్స్ పనిచేస్తాయని మరియు అది సాంకేతికంగా మొదటి నుండి చివరి వరకు ఆడటానికి వీలుగా ఉందని మాత్రమే నిరూపిస్తుంది. గేమ్ నిజంగా ఆకట్టుకునేలా లేదా ఆడటానికి సరదాగా ఉందా అనే దాని గురించి ఇది ఏమీ చెప్పదు—అదే విభేదం కారణంగానే డిజైన్ లెన్స్ దీనికి 31 స్కోరు ఇచ్చింది.

దృశ్య నాణ్యత

చివరగా, విజువల్ ప్రెజెంటేషన్ కోసం ఫోన్-పరిమాణ వ్యూపోర్ట్‌పై రికార్డ్ చేయబడిన సెషన్‌కు మూల్యాంకన వ్యవస్థ స్కోర్ ఇచ్చింది. స్కైఫోర్జ్ అసెంట్ 86/100 స్కోర్ సాధించింది: శుభ్రంగా, పొందికగా, మరియు ఒక సాధారణ obby యొక్క విజువల్స్‌కు అనుగుణంగా ఉంది; చదవగలిగే ప్లాట్‌ఫార్మింగ్ జ్యామితి; స్పష్టంగా కనిపించే ప్రమాదాలు; మరియు ఆధునిక, అంతరాయం కలిగించని HUD. చిన్నపాటి దృశ్యపరమైన పరిమితులు దానిని పరిపూర్ణత నుండి దూరం చేస్తున్నాయి, కానీ ఏదీ దోషపూరితంగా లేదు, మరియు ఆటగాడిని స్క్రోల్ చేయడం ఆపేలా చేసేది కూడా ఏమీ లేదు.

ట్రేస్ మెట్రిక్స్

అదే రన్ రికార్డ్ చేసిన ప్రాసెస్ మెట్రిక్స్‌ను కూడా అందించింది. గేమ్ బిల్డ్ అవడానికి సుమారు ఎనిమిది నిమిషాలు పట్టింది, టూల్ ఎర్రర్లు సున్నా, మరియు బిల్డ్ 3D, UI, స్క్రిప్ట్ ఎడిటింగ్, అసెట్ ఇన్సర్షన్, మరియు గేమ్ ఆడియో నైపుణ్యాలను ఉపయోగించింది. ఈ మెట్రిక్స్ నేరుగా ఎవల్ స్కోర్‌ను ప్రభావితం చేయవు, కానీ అవి గేమ్‌ను ఎలా తయారు చేశారో తెలియజేస్తాయి మరియు ఎటువంటి ప్రయోజనం లేకుండా నెమ్మదిగా లేదా ఖరీదైన భవిష్యత్ బిల్డ్‌ను గుర్తిస్తాయి.

ఐదు దశలలో, స్కైఫోర్జ్ అసెంట్ గేమ్ స్పెక్, కోడ్ నాణ్యత, కంటెంట్ నాణ్యత, ప్లేటెస్ట్, మరియు విజువల్ నాణ్యతపై విభిన్నంగా స్కోర్ చేసింది. ఆ కొలమానాలలో నాలుగు, బిల్డ్ ఒకే ప్రాంప్ట్‌ను పూర్తి, సరైన, ఆడగలిగే, ప్రదర్శించగలిగే రోబ్లాక్స్ అనుభవంగా మార్చగలదని చెబుతున్నాయి. ఒక కొలమానం మాత్రం, ఇది ఎవరూ రెండవసారి ఆడటానికి ఎంచుకోని గేమ్ అని చెబుతోంది. ఆ అంతరాన్ని సగటు చేసి దాచిపెట్టకుండా, దానిని కొలవడమే బిల్డ్ మూల్యాంకనం యొక్క ప్రధాన ఉద్దేశ్యం.

ప్రారంభ మూల్యాంకనం బిల్డ్‌ను ఎలా మెరుగుపరిచింది 

మూల్యాంకన ఫలితాలు స్కోర్‌లను రూపొందించడం కంటే ఎక్కువ చేస్తాయి, అవి ఉత్పత్తి మెరుగుదలల కోసం ఆచరణాత్మక మార్గదర్శకత్వాన్ని కూడా అందిస్తాయి. వ్యక్తిగత కాంపోనెంట్ డీబగ్గింగ్‌ను సమగ్ర సిస్టమ్-స్థాయి పరీక్షతో కలపడం ద్వారా, ప్రామాణిక ప్రోంప్ట్ సూట్‌లలో ఆఫ్‌లైన్ బ్యాచ్ మూల్యాంకనాలు నేరుగా బిల్డ్ అభివృద్ధిని తీర్చిదిద్దాయి. 

1. ఆల్ఫా సృష్టికర్తల సమస్యలను వేగంగా పరిష్కరించడం: మా న్యూజిలాండ్ ఆల్ఫా ప్రారంభంలో, వినియోగదారులు 3D గేమ్ కావాలనుకున్నప్పుడు బిల్డ్ కొన్నిసార్లు 2D గేమ్‌ను సృష్టించిందని మాకు ఫీడ్‌బ్యాక్ ఇచ్చారు. ఈ మూల్యాంకన ఫ్రేమ్‌వర్క్ మా బృందానికి బిల్డ్ యొక్క 3D సామర్థ్యాలను త్వరగా మెరుగుపరచడంలో సహాయపడింది. రెండు వారాలలోపు, వినియోగదారులు స్పష్టంగా చెప్పకపోయినా, వారు 3D గేమ్ సృష్టించాలనే ఉద్దేశ్యాన్ని అర్థం చేసుకునే బిల్డ్ యొక్క సామర్థ్యాన్ని మేము మెరుగుపరిచాము. ఆబ్జెక్ట్ పొజిషనింగ్, లైటింగ్ మొదలైన సాధారణ సమస్యలను పరిష్కరించడం ద్వారా మేము 3D ప్లేయబిలిటీ మరియు పాలిష్‌ను కూడా మెరుగుపరిచాము. అప్పటి నుండి, అన్ని ఫిర్యాదులలో "నేను కోరుకున్నది ఇది కాదు" అనే ఫిర్యాదులు 18% నుండి 3%కి తగ్గాయి; ప్లేటెస్ట్ తర్వాత మొత్తం అసంతృప్తి ప్రతిచర్య 10% పాయింట్లు తగ్గింది. ఫ్రేమ్‌వర్క్‌పైనే పునరావృతం చేస్తున్నప్పుడు మేము నేర్చుకున్న విషయాలను కూడా సేకరించాము. 
2. మోడల్స్ మరియు ఆర్కిటెక్చర్‌ల మధ్య తులనాత్మక బెంచ్‌మార్కింగ్: మేము ప్రామాణిక ప్రోంప్ట్ సూట్‌లకు వ్యతిరేకంగా బిల్డ్ సిస్టమ్ కాన్ఫిగరేషన్‌లను కఠినంగా బెంచ్‌మార్క్ చేయడానికి మా ఎవల్ ఫ్రేమ్‌వర్క్‌ను ఉపయోగిస్తాము. మార్పులను ప్రొడక్షన్‌కు పంపే ముందు, ఆఫ్‌లైన్ A/B ఎవల్ నివేదికలు నాలుగు అంచనాలలో మా ప్రొడక్షన్ బేస్‌లైన్‌లకు వ్యతిరేకంగా అభ్యర్థి విడుదలలను పోల్చి చూస్తాయి: 

ఉదాహరణకు, వివిధ మోడల్ అప్‌గ్రేడ్‌లు మరియు ఏజెంట్ రూటింగ్ నిర్ణయాలు వ్యక్తిగత నాణ్యత సంకేతాలను ఎలా ప్రభావితం చేస్తాయో వేరు చేయడానికి ఈ ఆఫ్‌లైన్ డిఫ్స్ మాకు అనుమతిస్తాయి:

• బేస్ మోడల్ పనితీరు: మా బేస్ మోడల్‌ను అప్‌గ్రేడ్ చేయడం వల్ల ప్రతి సిగ్నల్‌లో స్థిరమైన లాభాలు వచ్చాయి—దీని ఫలితంగా మొదటి ప్రయత్నంలోనే తక్కువ బ్రోకెన్ బిల్డ్‌లు, అత్యుత్తమ విజువల్ పాలిష్ మరియు లోతైన గేమ్‌ప్లే కంటెంట్ లభించాయి.
• ఏజెంట్ రూటింగ్ ఆర్కిటెక్చర్: దీనికి విరుద్ధంగా, డ్యూయల్-ఏజెంట్ సెటప్‌లో ఒక తేలికపాటి మోడల్‌కు నిర్దిష్ట ఉప-కార్యాలను అప్పగించడం కంటెంట్ లోతు మరియు వైవిధ్యాన్ని కాపాడింది, కానీ ఆడటం మరియు దృశ్యపరమైన ముగింపులో తీవ్రమైన క్షీణతలకు కారణమైంది.

1. వివిధ సృష్టి పద్ధతులలో నాణ్యత ప్రామాణిక రేఖలను ట్రాక్ చేయడం: అత్యంత సంబంధిత మూల్యాంకన సెట్‌తో వివిధ సమయాలలో బిల్డ్ యొక్క ప్రస్తుత నాణ్యతను అర్థం చేసుకోవడానికి కూడా మేము ఈ ఫ్రేమ్‌వర్క్‌ను ఉపయోగిస్తాము. ఈ సెట్‌లు క్రమంగా విస్తృతమైన, సంక్లిష్టమైన సృష్టి పనుల స్నాప్‌షాట్‌లను అందిస్తాయి.
   అత్యంత తొలి సెట్‌లో సాపేక్షంగా సరళమైన మెకానిజంలతో పూర్తిగా 2D గేమ్‌లు ఉంటాయి. గేమ్ లాజిక్‌ను నిర్మించడం సులభం, అందువల్ల ప్లేటెస్ట్ స్కోరు ఎక్కువగా ఉండేది; మరోవైపు, అదే కారణం చేత కంటెంట్ స్కోరు తక్కువగా ఉండేది.
   మనం దృష్టిని 3D గేమ్‌లపైకి మళ్లించినప్పుడు, స్కోరు పంపిణీ సహజంగా మారుతుంది: బగ్-రహిత ఆట మరింత సవాలుగా మారుతుంది, దీనివల్ల ప్లేటెస్ట్ స్కోర్లు తగ్గుతాయి. ఆస్తి (అసెట్) మెరుగుదల లేకపోవడం వల్ల విజువల్ స్కోర్లు స్థిరంగా ఉంటాయి, ఇది గేమ్‌లకు ఒక ప్రోటోటైప్ అనుభూతిని ఇస్తుంది. 3D గేమ్‌లు మరింత లోతుగా ఉండే సామర్థ్యాన్ని కలిగి ఉన్నందున కంటెంట్ స్కోర్లు ఎక్కువగా ఉంటాయి—కానీ సింగిల్-టర్న్ ప్రాంప్ట్‌లు కంటెంట్ విస్తరణకు పరిమితమైన అవకాశాన్ని మాత్రమే ఇస్తాయి కాబట్టి మొత్తం స్కోర్లు తక్కువగానే ఉంటాయి.

1. ప్రక్రియ-నిర్దిష్ట అడ్డంకులను కనుగొనడం: మూల్యాంకన డేటా వివిధ ప్రక్రియలలో గణనీయమైన పనితీరు వైవిధ్యాలను కూడా హైలైట్ చేస్తుంది. ఆట యొక్క మెకానిక్స్‌పై ఎక్కువగా ఆధారపడిన ప్రక్రియలు (ఉదా., RPGలు, షూటర్లు, రేసింగ్ గేమ్‌లు) ఎక్కువగా ఆడటం-సంబంధిత సమస్యలను ఎదుర్కొంటాయి. సాపేక్షంగా సరళమైన లాజిక్ ఉన్న జానర్లు (ఉదా., సర్వైవల్ మరియు టైకూన్ గేమ్‌లు) తరచుగా ప్లేటెస్ట్‌లో మెరుగైన పనితీరును కనబరుస్తాయి, దీనివల్ల విజువల్ పాలిష్ మరియు UI డిజైన్ అనేవి పరిష్కరించాల్సిన తదుపరి మైలురాళ్ళుగా మారతాయి. జానర్ల మధ్య తేడాను తెలుసుకోవడం, బిల్డ్ గేమ్‌లలో మరింత సమతుల్య నమూనాలతో మా మూల్యాంకన సెట్‌ను విస్తరించడానికి మమ్మల్ని ప్రోత్సహిస్తుంది.
2. హార్నెస్ డిజైన్‌లో నేర్చుకున్న పాఠాలు: ఫ్రేమ్‌వర్క్‌పైనే పునరావృతం చేయడం ద్వారా హార్నెస్ విశ్వసనీయత గురించి మాకు కీలకమైన పాఠాలు నేర్పింది:

• సిస్టమ్ మెట్రిక్స్ వర్సెస్ కాంపోనెంట్ మెట్రిక్స్: స్పష్టమైన కోడ్ నిర్మాణం లేదా API వినియోగం ఆడగలిగే గేమ్‌కు హామీ ఇవ్వదు. చర్య తీసుకోగల బగ్‌లను దాచకుండా ఉండటానికి మేము సరియైనతనం, డిజైన్ మరియు ప్రదర్శనలను వేర్వేరుగా ఉంచుతాము.
• హార్నెస్ బలహీనతలు మరియు మానవ క్రమాంకనం: స్టాటిక్ చెక్‌లు గేమ్‌ను కూల్చివేసే రన్‌టైమ్ బ్లాకర్‌లను గుర్తించలేకపోవచ్చు, అయితే ఆటోమేటెడ్ ప్లేటెస్ట్‌లు సంక్లిష్టమైన ఫిజిక్స్‌తో ఇబ్బంది పడతాయి. వర్చువల్ జడ్జ్‌లు ప్రొఫెషనల్ గేమ్ డెవలపర్‌లు మరియు అనుభవజ్ఞులైన కమ్యూనిటీ రివ్యూయర్‌లతో నిరంతరం క్రమాంకనం చేయబడతాయి.
• మల్టీటర్న్ మరియు నిజమైన ట్రాఫిక్‌కు విస్తరించడం: నిజమైన సృష్టికర్తలు నిరంతరం పునరావృతం చేస్తారు (సిస్టమ్‌లను జోడించడం, క్లిష్టతను సర్దుబాటు చేయడం, బగ్‌లను సరిచేయడం), కాబట్టి మేము మల్టీటర్న్ ఎడిట్‌లను మరియు నిజ-ప్రపంచ ప్రాంప్ట్ పంపిణీలను మూల్యాంకనం చేయడానికి మా ఎవల్ హార్నెస్‌ను విస్తరిస్తున్నాము.

తరువాత ఏమి వస్తుంది

మేము ప్రస్తుతం మా బిల్డ్ క్రియేషన్ ఎవల్ సిస్టమ్‌ను ఐదు దిశలలో విస్తరించడంపై దృష్టి పెడుతున్నాము:

1. వివిధ శైలులు, 2D/2.5D/3D అనుభవాలు, మల్టీప్లేయర్ దృశ్యాలు మరియు సంక్లిష్టత స్థాయిలలో విస్తృత కవరేజ్
2. బహుళ-టర్న్ ఎడిట్‌లకు బలమైన మద్దతు
3. మరింత విశ్వసనీయమైన ప్లేటెస్ట్, స్క్రీన్‌షాట్, వీడియో మరియు ఆడియో సాక్ష్యాలు
4. విస్తృత స్థాయిలో మానవ రేటింగ్‌లకు మరియు సృష్టికర్త-నేతృత్వంలోని బెంచ్‌మార్క్ కేసులకు క్రమాంకనం
5. ఆఫ్‌లైన్ మూల్యాంకనం, ఆన్‌లైన్ ఉత్పత్తి సంకేతాలు, మరియు రిగ్రెషన్ పరీక్షల మధ్య మెరుగైన ఏకీకరణ

రచయితలు శ్రద్ధ వహించే స్థాయిలో 'బిల్డ్'ను కొలిచే, పారదర్శకంగా, నిరంతరం మెరుగుపడే ఒక మూల్యాంకన వ్యవస్థను రూపొందించడమే మా దీర్ఘకాలిక లక్ష్యం: వారు సృష్టించగల, పరీక్షించగల, పంచుకోగల మరియు అభివృద్ధిని కొనసాగించగల అనుభవాల నాణ్యత. ప్రస్తుతం, ఈ సంకేతాలు 'బిల్డ్' రూపొందించిన గేమ్‌లను మూల్యాంకనం చేయడానికి ఉపయోగించబడుతున్నాయి. కాలక్రమేణా, మనం వీటిని మానవ తీర్పుతో మరింతగా మెరుగుపరిచి, సర్దుబాటు చేస్తున్న కొద్దీ, అవి ఇతర సృజనాత్మక వర్క్‌ఫ్లోలకు కూడా వర్తించవచ్చు మరియు విస్తృతమైన రోబ్లాక్స్ పర్యావరణ వ్యవస్థ అంతటా గేమ్ నాణ్యతను అర్థం చేసుకోవడానికి ఒక ఉమ్మడి భాషను అందించడంలో సహాయపడతాయి.

Roblox అసిస్టెంట్ కోసం ఏజెంటिक సిస్టమ్‌లను మూల్యాంకనం చేయడం గురించి సంబంధిత సమాచారం కోసం, 'Roblox స్టూడియో కోసం ఏజెంటिक AI అసిస్టెంట్‌లను బెంచ్‌మార్క్ చేయడానికి OpenGameEval ఉపయోగించడం' (Using OpenGameEval to Benchmark Agentic AI Assistants for Roblox Studio) చూడండి.