Optimaliseer testen en live-updates met het analyse- en experimentatieplatform van Roblox

Het ontwikkelen van een opvallende game vereist experimenteren, meten en itereren. Met de Analytics- en LiveOps-platforms van Roblox kunnen makers diepgaande inzichten krijgen in gameplay en prestaties, wijzigingen testen en zich aanpassen aan de manier waarop mensen spelen. Vandaag kondigen we realtime prestatiewaarschuwingen aan, evenals gedetailleerdere targeting en segmentatie, en geautomatiseerde vroegtijdige waarschuwingen die makers laten weten of experimenten invloed hebben op belangrijke statistieken. Met deze nieuwe tools kunnen makers met vertrouwen wijzigingen testen en live-updates doorvoeren. Ontwikkelaar UpliftBradB vertelt hieronder hoe Uplift Games, de studio achter Adopt Me!, de Analytics- en LiveOps-platforms van Roblox gebruikt om de ervaring van het adopteren van huisdieren voor hun spelers te verbeteren.  

Meten en implementeren 

Het is een delicate evenwichtsoefening om verschillende soorten spelers op de lange termijn betrokken te houden. Data zijn een krachtig hulpmiddel om te begrijpen hoe spelers met een game omgaan, te identificeren waar problemen kunnen ontstaan en de game naadloos aan te passen totdat deze precies goed is. We werken de Analytics- en Experience Live Ops-platforms van Roblox voortdurend bij op basis van feedback en behoeften van makers. Deze nieuwe tools maken de platforms over de hele linie flexibeler en krachtiger. 

Analytics

Analytics-dashboards helpen makers om kansen te identificeren of te bepalen waar verbeteringen nodig zijn. Een sterke retentie op dag één met een scherpe daling in de 30-daagse retentie kan bijvoorbeeld wijzen op vraag naar diepgaandere content. Een lage retentie op dag één bij een kerngroep van trouwe, langdurige spelers kan duiden op een slechte onboarding-flow of een steile moeilijkheidscurve. 

Het Analytics-platform kan gegevens ook categoriseren per spelerssegment om te laten zien of een trend bij alle spelers voorkomt of beperkt blijft tot een specifiek segment. Met nieuwe segmentdimensies kunnen makers gegevens uitsplitsen op basis van in-game-activiteit, betrokkenheidsniveau, platformactiviteit, speelduur en platformuitgaven om inzicht te krijgen in de verschillen in speelpatronen. 

Prestatiebewaking 

Prestatieproblemen kunnen moeilijk te lokaliseren zijn. Kant-en-klare telemetriegegevens zoals crashpercentages, geheugengebruik, CPU-tijd en framerate per versie helpen makers om bugs op te lossen en ervoor te zorgen dat hun games goed draaien op alle soorten apparaten. We hebben ook nieuwe foutdetectie toegevoegd, aangepaste regels om foutrapporten te ordenen en realtime prestatiewaarschuwingen om kritieke problemen aan het licht te brengen, zodat makers zo snel mogelijk kunnen reageren.

Experimenten 

Met het Experiments-systeem van Roblox kunnen makers A/B-tests uitvoeren om de impact van een functie of wijziging nauwkeurig te meten. Onze nieuwste updates voegen segmentgebaseerde targeting toe, evenals flexibelere en snellere configuratiemogelijkheden, en een systeem voor vroegtijdige schade-detectie dat de maker vrijwel in realtime waarschuwt als de speeltijd, ARPU of conversieratio onder een bepaalde drempel daalt. In het komende jaar zullen we nog meer opties toevoegen voor door makers zelf samengestelde statistieken en segmentatie van experimentresultaten.

Configuraties

Met configuraties kunnen makers functies lanceren en waarden in het spel in realtime bijwerken zonder de server opnieuw op te starten. Met deze update hebben we de verspreiding van configuraties versneld en een "publiceren als"-functie toegevoegd waarmee makers van de ene omgeving naar de andere kunnen publiceren (bijvoorbeeld van staging naar productie). We hebben ook voorwaardelijke configuraties toegevoegd, waarmee makers verschillende waarden kunnen toepassen om de ervaring voor verschillende spelerssegmenten te personaliseren. Makers kunnen bijvoorbeeld de moeilijkheidsgraad aanpassen om een quest of dungeon gemakkelijker te maken voor nieuwe spelers, of beloningsadvertenties verwijderen voor spelers die Robux hebben uitgegeven. 

Voor makers die in hun workflow gebruik willen maken van gegevens via tools van derden, maken onze OpenCloud-API’s programmatisch beheer van deze functies mogelijk. Makers kunnen bijvoorbeeld codeerassistenten gebruiken om experimenten op te zetten of analyses te volgen.

Lees meer over het gebruik van analytics, prestatiebewaking, experimenten en configuraties op het Devforum. 

De spelerservaring van Adopt Me! optimaliseren

Uplift Games, de studio achter Adopt Me!, een spel waarin huisdieren worden geadopteerd met in totaal 44,4 miljard bezoeken, maakt gebruik van het Analytics-platform en Experiments van Roblox om nieuwe functies te testen. Deze tests helpen hen om een geweldige ervaring te bieden aan spelers met zeer uiteenlopende speelstijlen, van het opvoeden en ruilen van huisdieren tot rollenspellen en het bouwen van boerderijen. Ontwikkelaar UpliftBradB vertelde hoe het team nadenkt over het ontwikkelen van zo’n diverse reeks functies en een even diverse community.  

“Adopt Me! is ontworpen voor alle leeftijden,” zei UpliftBradB. “We willen elke spelmechanica begrijpelijk houden, terwijl we tegelijkertijd de juiste mate van diepgang bieden aan systemen zoals bouwen en ruilen, waar een ouder publiek van geniet.”  

Het team heeft onlangs een vernieuwd ruilplatform gelanceerd waar spelers elkaar kunnen vinden om huisdieren te ruilen. “We hebben onze ruilhub een tijdje getest met behulp van analyses en experimenten voordat we de volledige ervaring lanceerden,” zei UpliftBradB. “We hebben veel variabelen getest, zoals servergrootte en matchmaking-signalen, en gekeken hoe spelers met het systeem omgingen. Waren spelers meer betrokken? Nam het aantal ruiltransacties toe?” 

Door wijzigingen te testen en de resultaten in de analyses te bekijken, kreeg het team het vertrouwen dat ze op de goede weg waren. Maar sommige wijzigingen hadden onbedoelde gevolgen. „We hebben een functie ontwikkeld waarmee spelers een speciale valuta konden verdienen door met vrienden te spelen, die ze vervolgens konden gebruiken om speciale huisdieren te kopen“, zei UpliftBradB. „Het was bedoeld om samen spelen te stimuleren, maar spelers hadden al snel door dat ze de server konden overspoelen met vriendschapsverzoeken om meer valuta te krijgen. Dat was op zich misschien geen probleem, maar we merkten ook een enorme toename van spelers die privéservers opzetten om aan de spam te ontsnappen.“

Met behulp van analytics kon het team ook de prestaties in de gaten houden en snel bijsturen toen ze een probleem ontdekten met een nieuwe functie die tijdens hun zomerevenement was geïntroduceerd. Ze hadden vissen toegevoegd die spelers konden vangen als onderdeel van het evenement, maar zagen al snel een probleem. “Het aantal crashes en de framerate gaven ons het signaal dat er iets misging,” zei UpliftBradB. “Toen we het nader onderzochten, ontdekten we dat we de vissen als decor hadden gemarkeerd… waardoor de engine de achtergronden enorm vaak opnieuw moest weergeven.” Doordat het probleem vroeg werd opgemerkt, kon het team het snel oplossen.   

Ga aan de slag en analyseer

Het verhaal van UpliftBradB is bekend bij veel makers: dankzij analytics en experimenteren wordt iteratie niet langer een kwestie van een weloverwogen gok, maar een op gegevens gebaseerde strategie. Het flexibele platform van Roblox helpt om optimalisatie en op gegevens gebaseerde besluitvorming een standaardonderdeel te maken van de workflow van elke maker. Later dit jaar zijn we van plan de analysemogelijkheden uit te breiden naar Build, ons ‘mobile-first’-tabblad voor het maken van content in de Roblox-app. Na de integratie kunnen makers de prestaties onderweg bijhouden. We breiden het platform ook uit met nieuwe functies, waaronder aangepaste experimentacties. Geïnteresseerde makers kunnen zich nu aanmelden voor een early access-programma om de nieuwste experimentfuncties uit te proberen voordat ze live gaan op Roblox.

Roblox maakt het voor makers eenvoudig om op één plek op een slimme manier te bouwen, te publiceren en te optimaliseren.