밑바닥부터 시작하는 딥러닝 5

127

5

장

EM 알고리즘

지금 목표는 를 최소화하는

i

를 찾는 것입니다. 따라서 [식

5

.

3

]에서

i

를 포함

하지 않는 항은 무시할 수 있어서 다음 식이 성립합니다.

중간 수식에서는 목적 함수에

N

을 곱했지만 그렇다고 해서 최솟값을 안겨주는

i

의 값은 변하

지 않습니다 (예컨대

y

=

x

2

은

x

=

0

일 때 값이 최소가 되는데, 여기에

N

을 곱한

y

=

Nx

2

역시

여전히

x

=

0

에서 값이 가장 작습니다). 마지막 수식에서는 목적 함수의 부호를 반전시키면서

최솟값 인수 (

arg

min

)에서 최댓값 인수 (

arg

max

)로 바뀝니다. 이상을 통해 다음 식이 성립

함을 알 수 있습니다.

왼쪽은

KL

발산이 최소가 되는

i

이고 오른쪽은 로그 가능도가 최대가 되는

i

입니다. 즉, 둘이

같다는 결론을 얻었습니다.

5.2

EM

알고리즘 도출 ①

앞으로 다룰 문제는 가우스 혼합 모델(

GMM

)의 매개변수 추정입니다.

GMM

은 잠재 변수가

있는 확률 분포 모델입니다. 잠재 변수가 있는 모델은 다양합니다. [그림

5

-

3

]에서 볼 수 있듯

이

GMM

도 그중 하나입니다.