데이터 과학을 위한 통계: 데이터 분석에서 머신러닝까지 50가지 핵심 개념

145

3

장

통계적 실험과 유의성 검정

3.10.1

더 읽을 거리

• 존 마일즈 화이트의 『

Bandit

Algorithms

』(

O

’

Reilly

,

2012

)에서

MAB

에 대한 짧지만 아주 훌륭한 설명을

찾아볼 수 있다. 화이트는 파이썬 코드뿐만 아니라 이 알고리즘의 성능을 평가하기 위한 시뮬레이션 결과도 기

술했다.

• 톰슨 샘플링에 대한 (다소 기술적인 ) 추가 정보는 시프라 아그라와

Shipra

Agrawal

와 나빈 고얄

Navin

Goyal

의

「

Analysis

of

Thompson

Sampling

for

the

Multi

-

armed

Bandit

Problem

」을 참고하자.

http

://

proceedings

.

mlr

.

press

/

v23

/

agrawal12

/

agrawal12

.

pdf

3.11

검정력과 표본크기

웹 테스트를 수행할 경우 실행 시간 (즉, 처리당 얼마나 많은 노출이 필요할까? )은 어떻게 결정

할까? 웹 테스트에 대한 수많은 관련 자료들을 인터넷에서 쉽게 찾을 수 있다. 하지만 모든 경

우에 딱 맞는 일반적인 방법은 없고, 다만 원하는 달성 목표에 따라 조절해야 한다.

용어 정리

•

효과크기

effect

size

: ‘클릭률의

20

% 향상’과 같이 통계 검정을 통해 판단할 수 있는 효과의 최소 크기

•

검정력

power

: 주어진 표본크기로 주어진 효과크기를