밑바닥부터 시작하는 딥러닝 5

320

밑바닥부터 시작하는 딥러닝 5

C.3

몬테카를로 방법에 따른

ELBO

의 근삿값

[식

C

.

1

]에서 알 수 있듯이

ELBO

는 세 개의 기댓값 항으로 구성됩니다. 기댓값은 몬테카를로

방법으로 근삿값을 구할 수 있습니다. 이번에는 로 샘플링하고 이렇게

샘플링한

z

1

,

z

2

를 사용하여 기댓값을 계산해봅시다. 재매개변수화 트릭을 사용하면

z

1

,

z

2

의

샘플링은 [그림

C

-

3

]의 계산 그래프를 통해 구할 수 있습니다.

그림

C-3

z

1

,

z

2

의 샘플링 계산 그래프

NN

재매개변수화 트릭

NN

재매개변수화 트릭

그림에서 볼 수 있듯이 재매개변수화 트릭을 사용하여

z

1

,

z

2

를 생성합니다. 재매개변수화 트

릭을 사용하면 나중에 역전파하여 매개변수의 기울기를 구할 수 있습니다.

z

1

,

z

2

를 샘플링할

수 있다면 [식

C

.

1

]의 기댓값들을 계산할 수 있습니다. 수식으로 표현하면 다음과 같습니다.

이 계산식은 샘플 크기를

1

로 설정할 때의 몬테카를로 방법입니다. 샘플 크기를 늘리면 근삿값

의 정확도가 높아지지만 경험적으로 샘플 하나만으로도 잘 작동하는 경우가 많습니다. 여기서

[식 C.1]

321

부록