Roblox의 분석 및 실험 플랫폼을 활용한 테스트 및 실시간 업데이트 최적화

눈에 띄는 게임을 만들기 위해서는 실험, 측정, 반복이 필요합니다. Roblox의 분석 및 LiveOps 플랫폼을 통해 크리에이터는 게임 플레이와 성과에 대한 심층적인 통찰력을 얻고, 변경 사항을 테스트하며, 유저들의 플레이 방식에 맞춰 게임을 조정할 수 있습니다. 오늘, 저희는 실시간 성과 알림, 더욱 세분화된 타겟팅 및 세그멘테이션, 그리고 실험이 핵심 지표에 영향을 미칠 경우 크리에이터에게 신호를 보내는 자동화된 조기 경보 기능을 발표합니다. 이러한 새로운 도구를 통해 크리에이터는 자신감을 가지고 변경 사항을 테스트하고 실시간 업데이트를 배포할 수 있습니다. 개발자 UpliftBradB는 아래에서 'Adopt Me!'를 제작한 스튜디오인 Uplift Games가 Roblox의 분석 및 LiveOps 플랫폼을 활용하여 플레이어의 반려동물 입양 경험을 개선한 방법을 공유합니다.  

측정하고 적용하기 

다양한 유형의 플레이어들이 장기적으로 게임에 몰입하도록 유지하는 것은 섬세한 균형 감각이 필요한 일입니다. 데이터는 플레이어가 게임과 어떻게 상호작용하는지 이해하고, 문제가 발생할 수 있는 부분을 파악하며, 게임을 완벽하게 조정하기 위한 강력한 도구입니다. 저희는 크리에이터의 피드백과 요구 사항을 바탕으로 Roblox의 분석 및 Experience Live Ops 플랫폼을 지속적으로 업데이트하고 있습니다. 이러한 새로운 도구들은 플랫폼 전반에 걸쳐 더 큰 유연성과 강력한 기능을 제공합니다. 

애널리틱스

애널리틱스 대시보드는 크리에이터가 성장 기회를 파악하거나 개선이 필요한 부분을 확인하는 데 도움을 줍니다. 예를 들어, 1일 유지율은 높지만 30일 유지율이 급격히 떨어지는 경우, 더 심도 있는 콘텐츠에 대한 수요가 있음을 시사할 수 있습니다. 출시 첫날 유지율이 낮지만 일관되게 장기간 플레이하는 핵심 유저 그룹이 존재한다면, 온보딩 흐름이 미흡하거나 난이도 곡선이 가파른 것일 수 있습니다. 

또한 분석 플랫폼은 데이터를 플레이어 세그먼트별로 분류하여, 특정 트렌드가 모든 플레이어에게 공통적으로 나타나는지 아니면 특정 세그먼트에만 국한되는지를 보여줄 수 있습니다. 새로운 세그먼트 차원을 통해 크리에이터는 게임 내 활동, 참여도, 플랫폼 활동, 이용 기간, 플랫폼 지출 등을 기준으로 데이터를 세분화하여 플레이 패턴의 차이를 파악할 수 있습니다. 

성능 모니터링 

성능 문제를 정확히 파악하기는 어려울 수 있습니다. 버전별 크래시 발생률, 메모리 사용량, CPU 사용 시간, 프레임률과 같은 기본 제공 텔레메트리 지표는 제작자가 버그를 수정하고 모든 유형의 기기에서 게임이 원활하게 실행되도록 하는 데 도움이 됩니다. 또한 새로운 오류 감지 기능, 오류 보고서를 체계적으로 정리할 수 있는 사용자 지정 규칙, 그리고 중대한 문제를 신속히 파악하여 제작자가 최대한 빠르게 대응할 수 있도록 지원하는 실시간 성능 알림 기능을 추가했습니다.

실험 

Roblox의 ‘실험’ 시스템을 통해 크리에이터는 A/B 테스트를 실행하여 기능이나 변경 사항이 미치는 영향을 정확하게 측정할 수 있습니다. 최근 업데이트를 통해 세그먼트별 타겟팅 기능, 더욱 유연하고 신속한 구성 기능, 그리고 플레이 시간, ARPU 또는 전환율이 특정 임계값 아래로 떨어질 경우 크리에이터에게 거의 실시간으로 알림을 보내는 조기 이상 감지 시스템이 추가되었습니다. 향후 1년 동안 크리에이터가 직접 설정할 수 있는 맞춤형 지표 및 실험 결과 세분화를 위한 더 많은 옵션을 추가할 예정입니다.

구성

설정을 통해 제작자는 서버를 재시작하지 않고도 기능을 출시하고 게임 내 값을 실시간으로 업데이트할 수 있습니다. 이번 업데이트를 통해 설정 반영 속도를 높였으며, 제작자가 한 환경에서 다른 환경으로(예: 스테이징에서 프로덕션으로) 게시할 수 있는 “게시 대상” 기능을 추가했습니다. 또한 조건부 설정을 추가하여, 제작자가 서로 다른 플레이어 세그먼트에 맞춤형 경험을 제공하기 위해 각기 다른 값을 적용할 수 있게 되었습니다. 예를 들어, 제작자는 난이도 값을 조정하여 신규 플레이어가 퀘스트나 던전을 더 쉽게 진행할 수 있도록 하거나, 로벅스를 사용한 플레이어에게는 보상형 광고 알림을 제거할 수 있습니다. 

워크플로우의 일환으로 타사 도구를 통해 데이터를 활용하고자 하는 크리에이터를 위해, OpenCloud API를 통해 이러한 기능을 프로그래밍 방식으로 관리할 수 있습니다. 예를 들어, 크리에이터는 코딩 어시스턴트를 사용하여 실험을 설정하거나 분석 데이터를 모니터링할 수 있습니다.

Devforum에서 분석, 성능 모니터링, 실험 및 설정 활용에 대해 자세히 알아보세요. 

'Adopt Me!'의 플레이어 경험 최적화

총 방문 수 444억 회를 기록한 반려동물 입양 게임 ‘Adopt Me!’의 개발사 Uplift Games는 Roblox의 분석 플랫폼과 실험 기능을 활용해 새로운 기능을 테스트합니다. 이러한 테스트를 통해 반려동물 키우기와 거래부터 역할극, 농장 건설에 이르기까지 매우 다양한 플레이 스타일을 가진 플레이어들에게 훌륭한 경험을 제공할 수 있습니다. 개발자 UpliftBradB는 팀이 이처럼 다양한 기능 세트와 커뮤니티를 위해 게임을 개발하는 데 어떤 접근 방식을 취하는지 공유했습니다.  

“‘Adopt Me!’는 모든 연령대를 대상으로 설계되었습니다.”라고 UpliftBradB는 말했습니다. “모든 게임 메커니즘을 이해하기 쉽게 유지하면서도, 나이가 더 많은 이용자들이 즐기는 건축이나 거래와 같은 시스템에는 적절한 수준의 깊이를 부여하고자 합니다.”  

팀은 최근 플레이어들이 서로 매칭되어 반려동물을 거래할 수 있는 개편된 거래 플랫폼을 출시했습니다. “우리는 전체 기능을 출시하기 전에 분석 데이터와 실험을 통해 거래 허브를 한동안 테스트했습니다,”라고 UpliftBradB는 말했습니다. “서버 규모나 매칭 신호 등 다양한 변수를 테스트하고, 플레이어들이 시스템과 어떻게 상호작용하는지 관찰했습니다. 플레이어들의 참여도가 높아졌나요? 거래 건수는 증가했나요?” 

변경 사항을 테스트하고 분석 결과를 확인하면서 팀은 올바른 방향으로 나아가고 있다는 확신을 얻었습니다. 하지만 일부 변경 사항은 의도하지 않은 결과를 낳기도 했습니다. “플레이어가 친구와 함께 플레이하면 특별한 화폐를 얻을 수 있고, 이를 이용해 특별한 반려동물을 구매할 수 있는 기능을 만들었습니다,”라고 UpliftBradB는 말했습니다. “이 기능은 함께 플레이하도록 장려하기 위한 것이었지만, 플레이어들은 더 많은 화폐를 얻기 위해 친구 요청을 마구 보내서 서버를 스팸으로 도배할 수 있다는 사실을 금방 알아차렸습니다. 그 자체만으로는 문제가 되지 않았을 수도 있지만, 스팸을 피하기 위해 개인 서버를 개설하는 플레이어가 급증하는 현상도 발견했습니다.”

분석 도구를 통해 개발팀은 성능을 모니터링할 수 있었고, 여름 이벤트 기간 중 도입된 신규 기능에서 문제를 발견했을 때 신속하게 대응할 수 있었습니다. 이벤트의 일환으로 플레이어가 잡을 수 있는 물고기를 추가했지만, 곧 문제가 발생했음을 파악했습니다. “크래시 발생률과 프레임 속도에서 뭔가 잘못되고 있다는 신호를 포착했습니다,”라고 UpliftBradB는 말했습니다. “원인을 파헤쳐 보니, 물고기를 배경 요소로 지정해 두었던 것이었습니다… 그로 인해 엔진이 배경을 엄청나게 많이 다시 렌더링하고 있었던 것이죠.” 문제를 조기에 발견한 덕분에 팀은 신속하게 해결할 수 있었습니다.   

분석에 나서라

UpliftBradB의 이야기는 크리에이터들 사이에서 흔히 볼 수 있는 사례입니다. 분석과 실험을 통해 추측에 기반한 반복 작업을 데이터 기반의 전략으로 발전시킬 수 있습니다. 로블록스의 유연한 플랫폼은 최적화와 데이터 기반 의사결정을 모든 크리에이터의 워크플로우에서 표준적인 부분으로 만들 수 있도록 돕습니다. 올해 말에는 로블록스 앱 내 모바일 우선 창작 탭인 ‘Build’로 분석 기능을 확장할 계획입니다. 통합이 완료되면 크리에이터들은 이동 중에도 성능을 모니터링할 수 있게 될 것입니다. 또한 사용자 지정 실험 동작을 포함한 새로운 기능으로 플랫폼을 확장할 예정입니다. 관심 있는 크리에이터는 지금 바로 얼리 액세스 프로그램에 등록하여, Roblox에 정식 출시되기 전에 최신 실험 기능을 미리 체험해 볼 수 있습니다.

Roblox를 통해 크리에이터들은 한 곳에서 손쉽게 제작, 배포, 그리고 지능적인 개선을 진행할 수 있습니다.