238
PART 4
실험 설계와 분석
8.3
무작위 배정과 표본 크기/검정력
실험의 변화 이론을 구축하고 검증했다면 다음은 무작위 배정을 수행하는 방법과 필요한 표본
크기를 결정할 단계입니다.
필자의 경험에 따르면 특정 환경에서 실험을 처음 진행할 때 이 단계가 매우 중요합니다. 과거
데이터를 깊게 검토하면 실험을 재구성할 수 있는 놀라운 통찰력을 얻을 수 있습니다. 또한 데
이터의 잡음과 예상되는 영향의 크기 (실험에 대해 좁은 범위를 올바르게 정의했다면 크기가
작음 )에 따라 필요한 표본의 크기를 결정할 수 있습니다. 예상되는 영향의 크기를 잘못 판단한
경우 필요한 표본의 크기가 얼마나 큰지 확인하고 충격을 받을 수도 있습니다. 한 번은 필요한
표본의 크기가 지나치게 크게 나와서 이정도 크기면 거의
1
년 동안 실험을 해야 한다는 말을
들었던 경험이 있습니다.
8.3.1
무작위 배정
무작위 배정
random
assignment
이론은 굉장히 간단합니다. 고객이 관련 페이지에 도달할 때마다 특
정 확률로 페이지의 현재 버전(실험 용어로 대조군
control
group
)을 보여주고 나머지 확률로 원클
릭 예약 버튼이 있는 버전(실험군
treatment
group
, 실험처치
treatment
적용 )을 표시합니다.
가장 단순하게 확률을 나누자면 목표 표본 크기에 도달할 때까지
50
%-
50
%로 할당할 수 있지
만 트랜잭션 양이 매우 많은 경우 다른 확률로 분할할 수 있습니다. 예를 들어 하루에
1
억 번의
방문 횟수가 있는 웹사이트를 관리하고 있으며 ...