밑바닥부터 시작하는 데이터 과학 데이터 분석을 위한 파이썬 프로그래밍과 수학·통계 기초

from Scratch

189

󽴜󽴔󻃣󻇃󽴔󻝳󼠇󽴔󼨓󼗿

가슴은 단순하고(나이브하고) 정신은 그렇지 않은 것이 좋다.

- 아나톨 프랑스(

Anatole

France

)

사용자끼리 서로 소통할 수 없는 소셜 네트워크는 무의미하다. 그렇기 때문에

데이텀에는 사용자끼리 서로 메시지를 보낼 수 있는 기능이 있다. 대부분의 사

용자는 책임감 있는 사용자이기 때문에 “잘 지내세요?” 같이 문제가 되지 않는

메시지를 보낸다. 하지만 몇몇 악성 사용자는 다른 사용자에게 일확천금의 기

회, 처방전 없이 약을 구매하는 방법, 유료 데이터 과학 프로그램 같은 스팸 메시

지를 지속적으로 보내고 있다. 점점 많은 사용자가 항의하기 시작했고, 메시지

담당 부서의 부사장은 데이터 과학으로 이런 스팸 메시지를 걸러내 달라고 부탁

했다.

13.1

바보 스팸 필터

가능한 모든 메시지에서 임의로 메시지를 선택하는 ‘공간’을 상상해 보자. 메시

지가 스팸인 경우를

S

라고 정의하고, 메시지에 ‘비트코인’이라는 단어가 포함되

어 있는 경우를

B

라고 정의해 보자. 베이즈 정리를 사용하면 메시지에 “비트코

인”이라는 단어가 포함되었을 때 해당 메시지가 스팸일 확률은 다음과 같다.

P(S|B) = [P(B|S)P(S)]/ [P(B|S)P(S) + P(B|

J

S)P(

J

S)]

분자는 메시지가 스팸이면서 비트코인이라는 단어를 ...