[기타팁] 스토어 전환율 높이는 A/B 테스트: 안드로이드, iOS
안녕하세요. 개발이 필요 없는 게임 서버, 뒤끝입니다.
오늘의 주제는 가장 직접적으로, 정확하게, 고객의 행동을 분석할 수 있는 ‘A/B 테스트’입니다.
일반적으로 모바일 게임의 경우 ‘앱 아이콘’을 가장 먼저 테스트할 것을 권장하는데요😊
복잡해 보이지만 알고 보면 간단한 A/B 테스트에 관하여, 지금 시작합니다.
👉 A/B 테스트 란?
‘A/B 테스트’는 고객의 결정에 영향을 미치는 요인들에 변화를 줌으로써, 변화에 따른 결과를 비교 분석하고 개선해나가는 그로스 해킹(Growth Hacking)의 기법 중 하나입니다.
모바일 게임에 있어서 고객의 선택에 가장 큰 영향을 미치는 요인은 무엇일까요? 바로 앱 아이콘, 스크린샷, 홍보 동영상 등의 ‘스토어 등록정보’입니다. 그리고 해당 요소들은 서비스와 고객을 가장 직접적으로 연결해 주는 매개체로써, 최전방에서 고객의 관심을 ‘충분히‘ 이끌어내야만 합니다.
그러나 고객의 관심도를 그냥 추측하기에는 너무 많은 변수가 존재하고, 우리의 생각과 고객이 끌리는 것 사이에는 분명한 차이가 있습니다. 그렇기 때문에 ‘A/B 테스트’라는 지속적인 관찰을 통해 고객의 성향을 파악하고 분석합니다. 또한 이를 기반으로 상품과 서비스를 더 효과적으로 노출하여, 이탈률을 감소시키고 스토어 전환율을 끌어올릴 수 있습니다.
👉 A/B 테스트 진행 방법: 구글 플레이 스토어
1. 가설 세우기
유의미한 A/B 테스트 결과를 얻기 위해서, 테스트 시작 전 ‘명확한 가설’을 설정하는 것은 필수입니다.
효과적인 가설은 아래 3가지 핵심 요소로 요약할 수 있습니다.
① 변경할 요소(X): 아이콘 캐릭터의 성별
② 변경에 따른 결과 예측: 사용자 클릭률(CTR) 상승
③ 위와 같이 예측하는 이유: 스토어 상위에 랭크된 앱 아이콘의 다수가(특히 액션RPG의 경우) 여성 캐릭터를 채택하고 있음을 확인
가설: X 요인을 변경하였을 때, 원본 A와 대안B의 Y지표에서 Z 한 차이가 발생할 것이다.
A/B 테스트의 핵심은 특정 요인에 변화를 주었을 때의 성과를 관찰하고, 지속적인 변화 주기와 테스트를 통해 결과물을 ‘꼬리물기’처럼 개선하는 것입니다. 그렇기 때문에, 가설을 설정할 때 ‘내가 측정하고자 하는 것이 무엇인지’를 명확히 해야만 인사이트를 도출해내고 유의미한 테스트를 지속할 수 있습니다.
만약 가설을 세우기에 객관적인 정보가 부족한 상황이라면, 리서치에 과도한 시간을 쏟기보다는 머릿속에서 합리적인 가설을 세우는 것으로 시작하는 것이 효율적입니다. 꼼꼼한 리서치를 바탕으로 아무리 탄탄한 가설을 세운다고 해도, 어쨌든 그것 또한 A/B 테스트를 통해 증명되어야 할 가설에 불과하기 때문입니다.
가설만 명확히 한다면, 실패한 A/B 테스트란 없습니다. 머릿속의 가설을 기반으로 시행한 테스트 또한 다음 테스트를 위한 훌륭한 데이터가 되어줄 것입니다.
2. 테스트 진행 및 결과 분석
구글은 A/B 테스트 툴을 개발자 콘솔(가이드)에서 무료로 제공하고 있으며, 방법은 아래와 같습니다.
① 테스트 생성하기
구글 플레이 콘솔 – [앱 정보] – [스토어 등록정보 실험] – 실험 만들기
② 세부 정보 입력하기
테스트를 실시하기 위해 필요한 정보를 모두 입력합니다.
(1) ‘기본 그래픽 실험’은 국내 출시용 앱을 위한 기능입니다. 현지화가 필요하지 않으므로, 텍스트를 제외한 앱 아이콘/그래픽 이미지/스크린샷/동영상까지 총 4가지 그래픽 항목에 한하여 테스트를 제공합니다.
(2) ‘현지화 실험’의 경우 그래픽뿐 만 아니라 텍스트까지 해당 국가의 언어로 테스트할 수 있습니다. 선택 후 제시되는 언어 옵션을 지정하면 해당 언어를 사용하는 고객들에게만 실험이 노출됩니다.
③ 테스트할 속성 설정 / 변형 등록하기
테스트할 그래픽 항목을 선택하고, 대안(변형)을 등록합니다.
‘앱 아이콘’ 항목에 변형을 준 ‘t2’ 라는 이름의 대안을 등록한 화면
④ 대상 사용자층 설정하기
대상 사용자층으로 설정한 비율만큼의 사람들에게 앞 단계에서 등록한 대안(변형)을 노출합니다.
사용자층 비율을 50%(최대)로 설정한 화면
⑤ 결과 확인 및 분석하기
충분한 데이터가 모여 유효한 결과가 나오면, 원본과 변형을 준 대안을 비교 분석합니다.
테스트 결과는 (1) 그래프와 (2) 표의 형태로 비교할 수 있으며, 그래프 바로 아래에 표 형태로 제시되는 자료는 직접적인 수치가 노출되므로 생략하였습니다. 그래프를 통해 기존의 스토어 등록 정보보다 변형을 준 대안이 더 높은 성과를 보인다는 것을 확인할 수 있습니다.
결과를 확인하고, 분석하고, 나름의 인사이트를 도출해냈다면? A/B 테스트를 한 사이클 완전히 돌리는 데 성공하셨습니다.
3. 후속 A/B 테스트 진행
A/B 테스트의 목적은 당장의 전환율을 끌어올리는 것이 아니라, 고객의 행동으로부터 인사이트를 도출하여 궁극적으로 더 나은 의사 결정을 만들어내는 것입니다. 그렇기 때문에 내 잠재 고객들의 행동 패턴과 선호도에 대한 지속적인 분석이 중요합니다.
최초 테스트를 통해 도출한 인사이트와 채택된 안을 유지하면서, 다양한 변형을 시도하여 테스트를 진행해 주세요.
사실 변형을 주었다고 해서, A/B 테스트의 결과가 온전히 해당 변수에 의해서 기인되었다고 판단하기는 아주 어렵습니다. 그렇기 때문에 테스트 준비 과정에서 변형하고자 하는 요소 이외의 환경을 최대한 동일하게 일치시켜준 후, 테스트를 진행해야 하겠습니다😎
➕ A/B 테스트 진행 방법: 애플 앱 스토어
애플 앱 스토어는 자체적으로 A/B 테스트 툴을 제공하고 있지 않습니다. 때문에 iOS 환경에서 테스트를 진행하기 위해서는 이미 서비스 중인 iOS 용 A/B 테스트 툴을 활용하여야 하는데요.
iOS 테스트 툴의 경우 기존의 페이지 혹은 화면 정보를 그대로 불러와 수정하는 방식입니다. 즉 동일한 페이지에 변형을 줄 부분만 수정한 두 번째 버전을 만들어, 각각의 고객 군에 다른 버전을 노출하고 결과를 측정하는 방식으로 테스트를 진행합니다. 이처럼 테스트를 진행하는 절차나 형태에 차이가 있을 뿐, A/B 테스트 진행의 기본 원리는 앞선 구글 플레이스토어에 대한 내용과 동일합니다.
다음과 같이 A/B 테스트 툴을 무료로 제공하고 있는 외부 서비스도 있으니, 앱 스토어에 게임을 출시하신 개발자님께서는 잘 활용해보시면 유의미한 개선을 이룰 수 있을 것이라 생각됩니다.😊
[무료 A/B 테스트 툴]
① Optimizely : 다양한 유/무료(A/B 테스트) 서비스에 대한 개발자 문서를 제공하고 있습니다.
② apptim : 테스트 기간이나 테스트 유저 수에 큰 제약이 있으나, 무료 요금제를 제공하고 있습니다.
③ 21Labs : 역시 테스트 기간이나 프로젝트 수에 큰 제약이 있으나, 무료 요금제를 제공하고 있습니다.
여기까지 ‘A/B 테스트’ 진행하는 방법에 대하여 알아보았습니다. 특히 구글은 A/B 테스트를 위해 별도의 가이드라인까지 제시하고 있으니, 구글 A/B 테스트 툴을 활용하실 개발자님께서는 미리 참고하시면 좋을 것 같습니다.
그럼 ‘A/B 테스트’를 진행해야 하는 이유에 관하여, 마지막 한 마디 남기면서 글 마치겠습니다.
잘 만들어진 게임, 최적화된 스토어 등록 정보로 유저에게 경험할 기회를 주세요.
반복적인 실험을 통해 누적된 데이터가 개발자님의 사업에 큰 자산이 될 것입니다😊
