SQL로 시작하는 데이터 분석

363

7

장

실험 분석

사용자군이 너무 적은 사용자로 구성돼 있는 것 같다면, 사용자 수가 적어도 통계적으로 유의

미한 결과를 검증할 수 있을 만큼은 확보됐는지 확인해야 합니다. 사용자 수가 충분치 않다면

실험을 다시 설계하고 수행해야 하며, 충분하다면 사용자군이 편향 없이 적절히 구성됐는지 확

인할 차례입니다. 예를 들어, 기술적 문제로 인해 특정 브라우저나 오래된 버전의 앱을 사용하

는 사람은 사용자군으로 할당되지 않고 실험에서 제외되는 경우도 발생합니다. 만약 사용자가

무작위로 할당되지 않아 사용자군 간에 위치, 기술 숙련도, 사회경제적 지위 등에 차이가 발생

한다면, 그 차이가 얼마나 크며 편향 문제를 해결하려면 어떤 조정이 필요한지를 파악하고 적

절한 조치를 취한 후 분석을 수행해야 합니다.

사용자군 할당 시스템의 결함으로 인해 사용자가 무작위로 대조군 및 실험군에 골고루 할당되

지 않는 문제가 발생하기도 합니다. 최근 실험 시스템에서 흔히 발생하지는 않지만 혹여 이런

일이 발생한다면 실험 결과는 무용지물이 됩니다. ‘사실로 받아들이기에는 너무 좋은’ 실험 결

과가 나온다면 사용자군 할당에 문제가 생겼을 가능성이 있습니다. 예를 들어, 서비스 참여도

가 높은 사용자들이 실험 설정의 실수로 인해 실험군과 대조군 모두에 할당돼버리는 경우가 있

습니다. 데이터 ...