밑바닥부터 시작하는 딥러닝 5

184

밑바닥부터 시작하는 딥러닝 5

우스 혼합 모델(

GMM

)입니다.

GMM

은 정규 분포 여러 개로 구성되므로 표현력이 좋아져서

더 많은 문제에 대응할 수 있습니다. 하지만 여전히 표현할 수 없는 문제가 존재합니다.

그래서 지금부터 목표로 하는 것은 오른쪽 그림과 같이 학습 데이터에 따라 유연하게 형태가

결정되는 확률 분포입니다. 이번 장의 주인공인 변이형 오토인코더 (

VAE

)는 신경망을 활용

하여 앞의 두 모델보다 복잡한 대상을 표현할 수 있습니다. 그럼 지금까지 배운 정규 분포와

GMM

을 빠르게 돌아보고, 그 흐름을 이어서

VAE

까지 살펴보겠습니다.

7.1.1

하나의 정규 분포

정규 분포의 매개변수를 로 나타냅시다. 데이터

x

의 분포를 정규 분포 하나로 모

델링하면 확률 분포는 다음 식으로 표현할 수 있습니다.

그리고 모델의 매개변수를 추정해야 합니다.

N

개의 관측 데이터

D

= {

x

(

1

)

,

x

(

2

)

,

f

,

x

(

N

)

}

으

로부터 다음의 로그 가능도가 최대가 되는 매개변수를 구합니다.

로그 가능도를 최대화하는

i

는 식 을 풀면 구할 수 있습니다.

7.1.2

가우스 혼합 모델(

GMM

)

다음은

GMM

차례입니다.

GMM

은 정규 분포 여러 개로 구성된 모델이며 다음 두 가지 작업

을 거쳐 데이터를 생성합니다.

1

범주형 분포에 따라

K

개의 정규 분포 중에서 하나를 선택한다. ...