행동 데이터 분석

PART

04

실험 설계와 분석

비즈니스에서 행동 과학자와 인과 데이터 과학자의 역할은 실험을 수행하는

것입니다. 실험 집단 사이에 무작위로 대상을 할당하면 잠재적인 교란변수를

식별하지 않아도 무효화할 수 있습니다. A/B 테스트만 다루는 책이 있을 정도

로 A/B 테스트는 하나의 큰 주제이지만, 이 책에서는 A/B 테스트를 만드는 몇

가지 특징만 살펴봅니다. 첫째, 인과-행동 프레임워크 안에서 실험을 재구성하

면 실험을 더 효과적으로 만들 수 있습니다. 또한 관찰 데이터 분석과 실험 데

이터 분석을 따로 이해하기 보다는 하나의 스펙트럼으로 보고 한층 더 깊게 이

해할 수 있습니다. 둘째, 통계 검정 대신 실험을 더 단순하고 강력하게 만들어

줄 선형 및 로지스틱 회귀를 살펴봅니다. 마지막으로 실험에 대한 전통적인 접

근 방식은 p-값을 기반으로 테스트한 개입 연구의 구현 여부를 결정하므로 최

상의 비즈니스 결정으로 이어지지 않습니다. 따라서 부트스트랩과 신뢰 구간

을 활용할 것입니다.

8장

회귀와 부트스트랩을 사용할 때 ‘간단한’ A/B 테스트가 어떻게 이루어지는지

소개합니다. 즉, 각 고객에 대해 일종의 가상 동전을 던지고 앞면이 나오면 A

버전, 뒷면이 나오면 B 버전을 표시합니다. 웹사이트의 A/B 테스트에서 자주

활용하는 방법입니다.

9장

실험 대상을 미리