데이터 과학을 위한 통계(2판)

154

데이터 과학을 위한 통계

[그림

3

-

8

]은 이렇게 수집한

315

개의 숫자 분포를 보여준다. 분명히 무작위가 아닌 것처럼

보인다.

그림

3-8

이마니시-카리 연구 데이터의 도수 히스토그램

수사관들은 기댓값(

31

.

5

. 정확히 균일한 분포에서 각 숫자가 뽑힐 때)과의 차이를 계산하고,

카이제곱검정을 사용해(재표본추출 절차를 사용해도 똑같았을 것이다) 실제 분포가 정상적

인 랜덤 변이의 범위를 훨씬 넘는다는 것을 보였다. 이는 데이터가 조작되었을 수 있음을 보

여준다(참고로 이마니시-카리는 장기간 조사 끝에 결국 무혐의 처분을 받았다).

3.9.4

데이터 과학과의 관련성

카이제곱검정이나 피셔의 정확검정은 어떤 효과가 실제인지 아니면 우연인지 알고 싶을 때 사

용한다. 대부분의 고전적 통계 응용 분야에서 카이제곱검정의 역할은 통계적 유의성을 결정하

는 것이며, 일반적으로 연구 또는 실험이 논문에 실리기 전에 할 필요가 있다. 하지만 이것은

데이터 과학자에게 그렇게 중요하지 않다.

A

/

B

나

A

/

B

/

C

나 상관없이, 대부분의 데이터 과학

실험에서의 목표는 단순히 통계적 유의성을 조사하는 것이 아니라 최적의 처리 방법을 찾는 것

이다. 이를 위해서는 멀티암드 밴딧 방법(

3

.

10

절 참고 )이 더 정확한 해결책이라고 할 수 있다.