밑바닥부터 시작하는 데이터 과학 데이터 분석을 위한 파이썬 프로그래밍과 수학·통계 기초

from Scratch

315

󽴜󽴔󼙯󼨌󽴔󺽷󺡇󺺐

for

_

in range(num

_

samples):

counts[gibbs

_

sample()][0] += 1

counts[direct

_

sample()][1] += 1

return counts

다음 절에서 이 기술을 바로 사용해 보자.

21.5

토픽 모델링

1

장 ‘들어가기’에서 사람들의 관심사 일치에 따라 친구를 추천해 주는 시스템을

만들었다.

사용자들의 관심사를 이해할 수 있는 더 정교한 방법은 관심사의 기반이 되는

주제, 또는 토픽(

topic

)을 파악하는 것이다.

LDA

(

latent

Dirichlet

allocation

)라

불리는 방법은 문서들의 꾸러미인 말뭉치에서 공통된 토픽을 뽑아내는 데 사용

된다. 여기서는 ‘사용자들의 관심사’ 말뭉치에

LDA

를 적용해 보자.

LDA

는 말뭉치에 대한 확률모델을 만든다는 점에서

13

장 ‘나이브 베이즈’에서

살펴본 나이브 베이즈 분류기와 공통점이 있다. 수식은 건너뛰더라도 모델이 다

음의 가정들을 가진다는 것은 염두에 두자.

· 토픽의 수는

K

개로 고정되어 있다.

· 각 토픽과 단어의 확률분포를 연관 짓는 확률변수가 있다. 특정 토픽

k

가 주

어졌을 때 단어

w

를 볼 확률이라고 생각하면 된다.

· 각 문서와 토픽의 확률분포를 연관 짓는 확률변수도 있다. 특정 문서

d

가