
369
7
장
실험 분석
두 번째로, 이미 실험 변인이 적용되고 그에 대한 데이터까지 수집돼버린 경우에는 대조 실험
이 불가능합니다. 실험 변인을 원래대로 되돌리고 처음부터 실험을 진행하기에는 늦었습니다.
때때로 실험에 대해 조언해줄 데이터 분석가나 데이터 과학자가 없는 경우도 있습니다. 필자
가 여러 조직에서 일해오면서, 롱텀 홀드아웃 그룹이 있었다면 정확한 결과를 분석할 수 있었
을 실험인데 그렇지 않고 임의로 진행한 후에 실험 결과를 분석해달라는 요청을 받은 적이 한
두 번이 아닙니다. 의도치 않은 변경이 적용된 경우도 마찬가지로 실험이 불가능합니다. 예를
들어, 갑작스러운 정전, 오류 발생, 화재, 태풍, 지진 등의 자연재해 등으로 인해 일부 또는 전
체 고객이 영향을 받았을 수 있지만 이로 인한 차이를 분석하기는 쉽지 않습니다.
대조 실험이 없는 상황에서 데이터 분석을 통해 내리는 결론이 설득력을 갖기는 어렵습니다.
하지만 이러한 상황에서도 데이터에서 최대한의 인사이트를 이끌어내는 준실험
quasi
-
experiment
10
분석 방법이 있습니다. 이는 데이터를 기반으로 나름의 대조군과 실험군 그룹을 구성해 분석하
는 방법입니다.
7.5.1
사전/사후 분석
사전/사후 분석은 같은 집단 또는 유사한 집단을 사전/사후로 나눠 비교하는 방법입니다. 특정
변화가 발생하기 ...