밑바닥부터 시작하는 딥러닝 5

118

밑바닥부터 시작하는 딥러닝 5

깝게도 이 문제는 쉽게 풀리지 않습니다. 이번 절에서는

GMM

의 매개변수를 추정하기가 왜 어

려운지 수식으로 살펴보겠습니다.

4.4.1

GMM

의 매개변수 추정

GMM

은 수식으로 다음과 같이 표현합니다.

[식 4.3]

샘플로 을 얻었다고 해봅시다. 편의상 매개변수 는

묶어서

i

로 표현하겠습니다. 그러면 가능도 는 다음 식으로 표현할 수 있습니다.

우리는

2

장에서 최대 가능도 추정에 대해 배웠습니다. 최대 가능도 추정의 목표는 가능도를 최

대화하는 매개변수

i

를 찾는 것입니다. 로그를 써서 계산하면 더 편리하므로 를 최대

화하는 대신 로그 가능도 를 최대화해봅시다.

간단한 문제라면 매개변수에 대한 기울기를 구하고 그 값을

0

으로 설정한 방정식으로 풀 수 있

습니다. 이번 문제에서는 다음 방정식이 됩니다 ( 로 정의 ).

[식 4.4]

119

4

장

가우스 혼합 모델

이상의 세 방정식을 풀면 좋겠지만 안타깝게도 해석적으로는 풀 수 없습니다. 이유는 [식

4

.

4

]

가 형태이기 때문입니다. 이 형태를

로그-합

log

-

sum

이라고도 합니다. 로그-합은 ...