AI를 위한 필수 수학

278

AI

를 위한 필수 수학

서 각 토픽의 양을 구할 수 있다. 우리가 원하는 대로 행렬

U

를 잘라내고 덜 중요한 토픽은 버

려 원하는 만큼의 토픽으로 차원을 줄일 수도 있다.

잠재 의미 분석의 단점

잠재 의미 분석이 생성하는 토픽 공간 또는 행렬

U

의 열은 가능한 분산을 최대로 포착하는 방

식으로 결합된 토큰의 선형 조합일 뿐이다. 이는 반드시 사람에게 의미 있는 단어 조합으로 변

환되는 것은 아니다. 추후에 논의할

Word2Vec

은 이러한 단점을 해결할 수 있다.

마지막으로 잠재 의미 분석을 통해 생성된 토픽 벡터는

TF

-

IDF

를 선형적으로 변환한 것에 불

과하다. 그렇기 때문에 의미 기반 검색

semantic

search

, 문서 클러스터링

clustering

document

, 그리고 콘

텐츠 기반 추천 엔진에서 가장 먼저 선택되어야 한다. 이 모든 것은 토픽 벡터 간의 거리를 측

정함으로써 수행할 수 있다 (

Chapter

7

의 후반부에서 자세히 설명한다 ).

7.5.4

잠재 디리클레 할당에 의해 결정된 문서의 토픽 벡터 표현

잠재 의미 분석을 사용하는 토픽 벡터와 달리, 잠재 디리클레 할당

latent

Dirichlet

allocation

(

LDA

)을

사용하면 새 문서를 말뭉치에 추가하기 위해 토픽 벡터를 생성할 때 전체 말뭉치를 다시 처리

해야 한다. 또한

LDA

는 단어를 토픽으로 묶기 위해 비선형 통계 접근법을 사용한다. 여기서는

단어 빈도의 디리클레 분포를 가정한다. 그 덕분에 이 방법은 단어를 토픽에 할당하는 통계 측

면에서 잠재 의미 ...