SQL로 시작하는 데이터 분석

365

7

장

실험 분석

할 만합니다. 예를 들어, 새로운 온보딩 과정을 완료한 플레이어가 더 높은 랭킹에 오를 수도

있고, 이 플레이어가 친구들을 불러 함께 게임을 함으로써 신규 플레이어가 유입되는 효과가

생길 수도 있습니다. 이는 곧 신규 사용자의 구매로 이어지기도 하므로 장기적 관점에서는 회

사에 더 큰 이익이 될 수 있습니다.

성공 지표를 특정 수준의 임계값으로 설정하기도 합니다. 이 경우에는 사용자군별로 임계값을

넘긴 사용자 비율을 비교해봅니다. 예를 들어, 성공 지표를 ‘사용자가 읽은 기사 수가

3

개 이

상’, ‘사용자가 앱을 사용한 횟수가 일주일에

2

회 이상’ 등으로 설정합니다. 물론 특정 임계값

대신 사용자가 읽은 기사 수나 앱을 사용한 횟수와 같이 무한한 수를 성공 지표로 설정할 수도

있습니다. 성공 지표를 어떤 방법으로 설정하면 좋을지 잘 고려해 적절한 방법을 선택합시다.

7.4.3

타임박싱

실험을 여러 주에 걸쳐 진행하는 경우도 있습니다. 이는 실험에 일찍 참여한 사용자는 실험 도

중에 참여한 사용자보다 성공 지표와 관련된 액션을 완료할 시간적 여유가 더 많음을 의미합

니다. 이를 통제하기 위해 타임박싱

time

boxing

개념을 적용합니다. 사용자마다 실험 시작 날짜가

다르더라도 시작 날짜로부터 일정한 범위의 시간 윈도우 안에 액션을 완료했는지 확인합니다.

실험에서 타임박싱 개념을 도입하려면 측정하고자 하는 액션을 고려해 타임박스를 적절한 크

기로 설정해야 합니다. 광고 클릭 여부와 같이 결과가 즉시 확인되는 액션을 ...