
694
2
부
신경망과 딥러닝
17.8
변이형 오토인코더
2014
년에 다이데릭 킹마
Diederik
Kingma
와 맥스 웰링
Max
Welling
이 또 다른 종류의 중요한 오토인코
더를 소개했습니다. 그리고 순식간에 가장 인기 있는 오토인코더 중 하나가 되었습니다. 바로
변이형 오토인코더
variational
autoencoder
15
입니다.
변이형 오토인코더는 다음과 같은 점에서 지금까지 다룬 오토인코더와 매우 다릅니다.
•
확률적
오토인코더
probabilistic
autoencoder
입니다. 즉, 훈련이 끝난 후에도 출력이 부분적으로 우연에 의해 결
정됩니다 (이와는 반대로 잡음 제거 오토인코더는 훈련 시에만 무작위성을 사용합니다 ).
•
무엇보다도
생성 오토인코더
generative
autoencoder
라는 점이 중요합니다. 마치 훈련 세트에서 샘플링된 것 같
은 새로운 샘플을 생성할 수 있습니다.
이런 두 속성이 변이형 오토인코더를
RBM
과 유사하게 만듭니다. 하지만 훈련이 더 쉽고 샘플
링 과정이 훨씬 빠릅니다(
RBM
에서는 새로운 샘플을 만들기 전에 네트워크가 ‘열평형’ 상태로
안정될 때까지 기다려야 합니다 ). 이름에서 알 수 있듯이 변이형 오토인코더는 (
9
장에서 소개
한) 효율적인 근사 베이즈 추론 방법인 변분 베이즈 추론
variational
Bayesian