밑바닥부터 시작하는 데이터 과학 데이터 분석을 위한 파이썬 프로그래밍과 수학·통계 기초

Data Science

192

󻱴󽴔󽴔󺕧󻱃󻋛󽴔󻅯󻱃󻹗

코인과 정품 롤렉스에 대한 데이터’라는 메시지도 스팸이 아니라고 예측할 것이

다. 이런 문제를 처리하기 위해서는 일종의 스무딩(

smoothing

, 평활화)이 필요

하다.

스무딩을 위해

가짜 빈도수(

pseudocount

)

k

를 결정하고 스팸 메시지에서

i

번

째 단어가 나올 확률을 다음과 같이 추정할 수 있다.

P(X

i

|S) = (k + w

i

를

포함하고

있는 스팸

수

)/ (2k +

스팸

수

)

P

(

X

i

|

J

S

)도 비슷하게 계산할 수 있다. 즉, 스팸 메시지에서

i

번째 단어가 나올

확률을 계산할 때 해당 단어가 포함된 스팸과 포함되지 않은 스팸이 이미 각각

k

번씩 나왔다고 가정을 한다.

예를 들어 데이터라는 단어는

98

개의 스팸 문서에서 단 한 번도 나타나지 않

았지만,

k

가

1

이라면

P

(데이터|

S

)를

1

/

100

=

0

.

01

로 계산할 수 있다. 즉, 데이터

라는 단어가 포함된 메시지가 스팸 메시지일 확률을

0

이 아닌 다른 확률값으로

설정할 수 있게 해준다.

13.3

구현하기

이제 분류기에 필요한 모든 것을 살펴봤다. 그럼 일단 메시지를 단어 단위로 잘

라 주는 함수를 만들어 보자. 먼저 메시지를 모두 소문자로 바꾼뒤

re.ndall

을

사용해서 문자, 숫자, 혹은 아포스트로피(

apostrophe

)가 포함된 모든 ‘단어’를

추출해 ...