밑바닥부터 시작하는 딥러닝 5

317

부록

C

계층형 VAE의 이론과 구현

참고로 여기에 신경망까지 추가하면 [그림

C

-

2

]처럼 됩니다.

그림

C-2

2계층

VAE

와 신경망

NNNN

NNNN

C.2

ELBO

의 식 전개

이후 수식에서는 매개변수 표기법을 단순화하여 과 의 아래 첨자는 생략하고 단순히 로

표기합니다. 예를 들어 은 로, 은 로 표기합니

다. 이제

2

계층

VAE

의

ELBO

식을 전개해보겠습니다.

318

밑바닥부터 시작하는 딥러닝 5

보다시피

ELBO

를 세 개의 항 (

J

1

,

J

2

,

J

3

)으로 나눴습니다. 이어서 각 항의 수식을 전개하겠습

니다.

J

1

부터 시작합니다.

여기서 중요한 점은

z

2

에 대한 적분이

1

이라서

z

2

에 관한 식이 사라진다는 사실입니다. 결과

적으로 첫 번째 식과 마지막 식에서 달라진 점은 의

z

2

가 사라졌다는 것입니다.

참고로 식을 한 단계씩 정성스럽게 전개했는데 다음과 같이 생각해보면 금방 이해할 수 있습

니다.

319

부록

C

계층형 VAE의 이론과 구현

●

은 에 대한 기댓값이다.

●

그러나 기댓값의 내용은 이 며

z

2

는 포함되지 않는다.

●

따라서

z

2

에 대한 확률