AI를 위한 필수 수학

341

Chapter 8 -

확률적 생성 모델

그림

8-3

가우스 혼합 공분산 유형

205

205

이미지 출처:

https://oreil.ly/BMF7a

206

https://oreil.ly/QpWUo

마지막으로 혼합의 알려지지 않은 파라미터 (공분산 행렬의 평균 및 원소 )를 추정하기 위해 데

이터의 가능도를 최대화해야 한다.

데이터에 잠재 변수나 숨겨진 변수 (직접 측정하거나 관찰할 수 없는 변수 )가 있는 경우에는 최

대 가능도

maximum

likelihood

를 구하기 어려워진다. 이 문제를 해결하기 위한 방법은 최대 가능도를

추정하기 위해 기대값 최대화

expectation

maximization

(

EM

) 알고리즘

206

을 사용하는 것이다. 기대값

최대화 알고리즘은 다음과 같이 작동한다.

1

미지의 파라미터에 대한 현재 추정치를 사용하여 로그 가능도의 기대값에 대한 함수를 생성함으로써 잠재

변수의 값을 추정한다.

2

최적화 :

1

단계에서 계산된 기대 로그 가능도를 최대화하는 새로운 파라미터를 계산한다.

3

수렴할 때까지

1

단계와

2

단계를 반복한다.

클러스터링의 경우 기대값 최대화를 통해 미지의 파라미터를 계산한 후 혼합체

mixture

에서 새로

운 데이터 포인트를 샘플링하면 된다. 분류의 경우 새로운 데이터 포인트가 주어지면 모델은

데이터가 속할 가능성이