ゼロから作るDeep Learning ❺ ―生成モデル編

ステップ7変分オートエンコーダ（VAE）

私たちはニューラルネットワークという武器を手にしました。ニューラルネットワークと生成モデルが合わさって、多くのイノベーションが起きています。このステップのテーマは変分オートエンコーダ（Variational AutoEncoder：VAE）[10]です。VAEはニューラルネットワークを活用することで、より複雑な表現が可能になります。VAEの導出は全部で3部構成となり、やや長丁場になります。あせらず、じっくり進みましょう。

7.1　VAEとデコーダ

ここでは図7-1を見ながら、これまで私たちがたどってきた道を振り返ります。

図7-1　（1）正規分布、（2）GMM、（3）VAEの確率分布

まずは図7-1の（1）です。これはデータの確率分布を「1つの正規分布」でモデル化した例です。単純なモデルですが、世の中には1つの正規分布の表現で十分な問題も多くあります。その次が（2）の混合ガウスモデル（GMM）です。GMMは複数の正規分布から構成されるので、1つの正規分布よりも表現力は向上し、より多くの問題に対応できるようになります。しかし、それでもまだ表現できない問題が存在します。

私たちがこれから目指すのは、（3）のような、学習データに合わせて柔軟に形が決まる確率分布です。変分オートエンコーダ（VAE）はニューラルネットワークを活用することで、より複雑な表現が可能となります。図7-1の（3）のような分布も、VAEによって実現できます。本節では、これまで学んだ正規分布とGMMを簡単に振り返り、その流れでVAEへと進みます。 ...