SQL로 시작하는 데이터 분석

349

7

장

실험 분석

A/B

테스트

(또는

스플릿 테스트

split

test

)는 인과관계를 밝히는 데 사용하는 대표적인 방법입니

다. 많은 데이터 분석에서, 두 이벤트 사이에 어떤 관계가 있는지 알아볼 때 상관관계를 확인합

니다. 상관관계는 특정 이벤트가 발생할 때 다른 이벤트가 더 (혹은 덜) 발생하는 정도를 의미

합니다. 단, ‘상관관계는 인과관계를 의미하지 않는다’라는 말이 있습니다. 인과관계는 상관관

계로는 알 수 없습니다. 이 장에서는 실험 분석을 통해 인과관계를 밝히는 방법을 알아봅니다.

모든 실험은 가설

hypothesis

을 세우는 데서 시작합니다. 가설이란 실험에 필요한 첫 번째 요소로,

상품, 프로세스, 메시지 등의 변경으로 인해 발생할 수 있는 고객의 행동 변화를 예측하는 일

을 말합니다. 사용자 인터페이스, 신규 사용자 온보딩 과정, 주요 추천 알고리즘, 마케팅 메시

지 및 타이밍, 그 외 어떤 것이든 변경해볼 수 있습니다. 여러분의 조직에서 특정 기능을 직접

개발했거나 관리 권한이 있다면 실험을 통해 해당 기능을 변경했을 때 어떤 변화가 발생하는지

확인해볼 수 있습니다. 주로 다른 데이터 분석 과정에서 가설을 세우고 이로 인한 변화를 확인

하는 경우가 많습니다. 예를 들어, 데이터 분석을 통해 ‘많은 고객이 복잡한 결제 과정에서 이

탈했다’라는 ...