플라밍고 스타터로 게임 초기 경험 개선하기: 온보딩 테스트

이전 포스팅(플라밍고 스타터의 시장성 테스트 리포트로 CPI 테스트 진행하는 방법)에서 설명 드린 바와 같이 CPI TEST를 통해 게임의 시장성을 검증하여 대중성이 있음을 판단했다면, 그 다음 단계는 검증된 메카닉을 기반으로 게임의 핵심 게임성과 재미를 구현하여 유저가 해당 시스템에 얼마나 몰입하는 지 여부를 데이터를 통해 판단합니다.

플라밍고 스타터는 알로하팩토리의 단계별 제작 프로세스를 기반으로 시스템화한 게임 제작 서포팅 서비스입니다.

플라밍고 스타터의 온보딩 테스트

온보딩 테스트에서의 핵심 포인트는 유저의 초기 경험을 확인하는 것입니다. 게임의 광고 영상을 보고 흥미를 느낀 유저들이 게임을 설치하고, 해당 게임을 실제로 플레이하면서 초기에 재미를 느끼고 다시 재방문하기까지의 상세한 데이터를 확인하실 수 있습니다.

온보딩 테스트 단계에서도 CPI를 확인하나요?

게임의 시장성 테스트 뿐만 아니라 런칭 이후까지도 안정적인 게임의 운영을 위해 CPI의 유지는 매우 중요하기 때문에 CPI 테스트의 성과는 지속적으로 모니터링합니다. 시장의 현황에 따라 일부 변동이 있을 수 있으나, 정식 런칭 이전까지는 주로 시장성 테스트에서 테스트했던 매체와 동일한 매체를 사용하기 때문에, 수치는 유사하게 유지되는 편입니다. 다만, 런칭까지 게임성 / 수익성 지표를 만들어 가는 과정이 너무 오래 걸린다면 테스트 지표를 확인하기 위한 CPI가 지속 상승하기 때문에 CPI를 일부 낮추기 위해서 새로운 소재들을 교체해 주거나 CPI 상승을 감안하고서 게임성과 수익성 지표 위주로 확인을 하는 경우가 있습니다.

추가 팁) CPI의 안정화를 위해 메인 국가가 되는 채널에서 오랫동안 TEST를 유지하는 것이 아닌 타 국가로 TEST를 진행하는 경우도 있습니다.

온보딩 단계에서 핵심적으로 확인하는 지표는 무엇인가요?

온보딩 테스트에서 핵심적으로 확인하는 지표는 세션 리텐션 / 세션 TS / D0~D1 TS / D1 리텐션 등입니다. 초기에 게임플레이를 경험하고, 다음 세션, 다음날 유저의 재방문(리텐션)이 발생했는지 여부를 확인함으로써 게임 초기에 안정적으로 온보딩이 되었는지를 판단할 수 있습니다.

일반적으로 D1 리텐션은 이후의 개선을 고려해서 최소 35~40% 이상의 지표를 기본 기준치로 설정하고 있습니다. D1까지의 지표를 확인하기 위한 정도의 게임성이 완성되어 있지 않다면 세션 정보를 가지고도 D1 리텐션을 어느 정도 예측할 수가 있습니다.

단, CPI (시장성) TEST에서 CPI 단가가 매우 낮다면 리텐션이 30%내외 수준으로도 충분히 가능성이 있으며 시장성 TEST의 결과와 함께 종합적으로 판단하는 것이 매우 중요합니다.

온보딩 테스트에서는 여러가지 게임 초기 지표들을 함께 확인합니다. 리텐션을 확인하고, 보조지표로 세션 리텐션의 확인을 통해 유저가 게임에서 즐길 수 있는 컨텐츠의 양이 충분한지를 판단할 수 있습니다.

예를 들어 세션 리텐션이 급격히 낮아지는 지점이 있다면, 유저가 처음 진입하고 게임을 즐긴 후에 다시 접속해서 즐길만한 컨텐츠의 양이 부족할 가능성이 있으므로, 첫번째 세션에서의 TS를 함께 확인하고 해당 부분의 개선을 재고해볼 수 있습니다.

리텐션 리포트 가이드

유입일 기준 리텐션: 특정일에 게임을 시작한 이용자가 얼마나 잔존해 있는지를 나타냅니다.

세션 당 리텐션: (유입 1일차 유저의) 세션 기준 리텐션으로 한 번 종료 후 다시 유입되는 유저의 비율을 확인할 수 있습니다.

코호트별 플레이 타임 확인하기

코호트별 플레이 타임 지표는 신규 유입유저(NRU) 기준의 플레이타임 지표를 확인함으로써, 유저가 접속해서 충분히 게임을 즐기고 있는지를 확인할 수 있습니다. 만일 갈수록 플레이 타임이 줄어드는 행태를 보인다면, 처음 진입 후 게임을 즐기다가, 갈수록 게임에 있어서 성장이나 플레이 재미의 동기부여가 줄어드는 것으로 추정할 수 있으므로, 해당 시점의 예상 콘텐츠를 확인하고 개선하는 방향을 고려해 볼 수도 있습니다.

게임 초기 이탈 지표 확인

초반 Day 1일차의 리텐션 뿐만 아니라, 가장 핵심적으로 보는 지표 중 하나는 초기 이탈지표입니다. 알로하팩토리에서는 단계별 제작 프로세스를 통해 온보딩 테스트를 진행하면서, 초기에 이탈 유저가 많고 게임에 몰입하지 못하면 초기 게임 개발을 다시 고민하거나, 신규 컨셉의 고민을 통해 시장성 테스트의 사이클로 테스트를 새롭게 진행합니다.

초기 이탈의 기준은 분당 이탈 포인트 / 구간별 이탈 포인트 / 스테이지별 이탈 포인트 / 세션별 이탈 포인트 / DAILY 이탈포인트 등을 구분하여 얼마나 세부적인 수준까지를 기준으로 잡을지 판단하고 문제를 확인합니다.

해당 게임만의 지표로는 수치가 좋은 것인지 확인이 어렵기 때문에 유사 장르의 성공케이스에 대한 기준 비교는 매우 중요합니다. 알로하팩토리에서는 유사 장르의 레퍼런스 데이터를 통해, 현재 테스트하는 게임의 이탈 구간이 어디서 높은 비중으로 발생하는지를 직관적으로 확인하고, 해당 부분에서의 UX 경험 및 튜토리얼 등의 개선을 충분히 고민함으로써 게임의 초기 온보딩을 안정적으로 만들어나갈 수 있습니다.

핵심 지표 외에 광고 노출 수 데이터의 측정을 통해, 게임성 대비 수익성의 잠재 가능성을 일부 판단할 수 있으며, 해당 부분은 향후 IAP 상품의 고도화 방향에 따라서도 달라질 수 있기 때문에 게임 개선 시 활용하는 보조 지표로 판단하고 있습니다.

분당/구간별 이탈포인트에 따른 개선요소 팁

게임의 초기 분당/구간별 이탈포인트에 따라 개선해야하는 요소들을 판단해볼 수 있습니다. 예를 들어 초기 1-2분 이내에 이탈이 발생한다면, 마케팅영상과 비교했을 때 게임의 첫인상 자체가 안좋은 것입니다. 이는 조작과 기본적인 게임 메카닉, 게임의 초기 컨셉 및 비주얼 자체의 문제가 있기 때문에 게임자체를 새롭게 개선해야 할 수 있습니다.

게임 온보딩에 대한 판단에서 특히 초반 5분간의 경험은 매우 중요합니다. 해당 경험을 통해 향후 인게임 내에 잔존하는 유저의 비율에 크게 영향을 미칠 수 있기 때문입니다. 플라밍고 스타터의 온보딩 리포트를 통해 초기 경험을 판단하는 지표를 전반적으로 확인하고, 게임의 개선 방향성을 확인함으로써 안정적인 온보딩 시스템을 만들 수 있습니다.

다음 포스팅에서는 플라밍고 스타터를 통해 게임의 수익성을 확인하는 방법을 안내 드리겠습니다.