359
7
장
실험 분석
7.3.2
t
- 검 정
일반적으로 이진형 지표를 개선하기 위한 실험보다 연속형 지표를 개선하고자 하는 실험이 많
습니다. 연속형 지표는 고객이 사용한 비용, 특정 페이지에 머무른 시간, 앱을 사용한 날을 비
롯해 어떠한 값이든 될 수 있습니다. 전자 상거래 사이트에서는 상품 페이지나 결제 과정에 관
한 실험을 통해 판매량을 늘릴 방법을 모색하기도 합니다. 콘텐츠 사이트에서는 사용자가 더
많은 콘텐츠를 소비하도록 레이아웃, 내비게이션, 헤드라인 등을 테스트하기도 하며, 앱을 운
영하는 회사는 이탈했던 사용자가 다시 앱을 사용하도록 리마케팅
remarketing
캠페인을 수행하기
도 합니다.
분석하고자 하는 대상이 연속형 성공 지표인 실험을 수행할 때는 특정 액션에 대한 사용자군별
평균값에 통계적으로 유의미한 차이가 있는지 확인합니다. 이에 적절한 통계 검정 방법으로
2
표본
t
- 검 정
two
-
sample
t
-
test
이 있습니다.
2
표본
t
-검정을 사용해 특정 신뢰 구간에서(주로
95
%
신뢰 구간) 두 사용자군의 특정 액션에 대한 평균에 유의미한 차이가 없다는 귀무가설을 기각
할 수 있는지 확인합니다. 이 통계 검정에는 평균, 표준편차, 사용자군 수 등 세 가지 정보가 필
요하며, 이는
SQL
로 간단히 계산할 수 있습니다.
이제 모바일 게임 데이터셋으로 직접 코드를 작성하며
2
표본
t
-검정을 자세히 알아봅시다. 앞
절에서는 새로운 온보딩이 기존 온보딩보다 완료율이 높은지 살펴봤습니다. 이 절에서는 새로
운 온보딩을