밑바닥부터 시작하는 딥러닝 5

315

부록

C

계층형 VAE의 이론과 구현

이번 부록에서는 계층형

VAE

에 대해 설명합니다. 단, 이해하기 쉽도록 [그림

C

-

1

]과 같은

2

계층 잠재 변수로 한정하여 이야기하겠습니다.

그림

C-1

2계층

VAE

모형도

NOTE_

지금부터 설명하는 내용은 잠재 변수가

T

개인 경우에도 성립합니다. 관심 있는 분은 이후 수식에서

잠재 변수의 수를

T

로 설정하여 전개해보세요.

C

.1

2계층

VAE

의 구성요소

[그림

C

-

1

]의

2

계층

VAE

가 학습하는 방법은 단순

VAE

와 똑같습니다. 두 경우 모두

ELBO

를

목적 함수로 사용합니다.

VAE

의

ELBO

는 다음 식으로 표현됩니다.

계층형

VAE

의 이론과 구현

APPENDIX

C

316

밑바닥부터 시작하는 딥러닝 5

2

계층

VAE

의

ELBO

는 이 식의

z

에

z

1

,

z

2

를 대입하여 얻을 수 있습니다. 수식으로는 표현하

면 다음과 같습니다.

이 식의

ELBO

에는 두 가지 확률 분포 와 가 등장합니다. 이들은

계층형

VAE

의 확률 곱셈 정리와 마르코프 성질에 의해 다음과 같이 분해하여 표현할 수 있습

니다.

보다시피 로, 로 분해했습니다. 한편 ...