生成 Deep Learning ―絵を描き、物語や音楽を作り、ゲームをプレイする

3章変分オートエンコーダ

2013年、Diederik P. KingmaとMax Wellingは、変分オートエンコーダ（variational autoencoder：VAE）と呼ばれるタイプのニューラルネットワークの基礎を築く論文を発表しました†1。これは現在、生成モデリングにおいて最も基本的でよく知られたディープラーニングのアーキテクチャです。この章では標準的なオートエンコーダを作成することから始め、その後、このフレームワークを拡張して変分オートエンコーダを開発する方法を見ていきます。これが私たちの最初の生成型ディープラーニングモデルの例となります。

[†1] Diederik P. Kingma and Max Welling, "Auto-Encoding Variational Bayes," 20 December 2013, https://arxiv.org/abs/1312.6114

途中で、この2種類のモデルを分解して、それらが細かいレベルでどう動いているのかを理解します。この章の最後までには、みなさんはオートエンコーダに基づいたモデルをどのように作成して扱うか、特に、変分オートエンコーダをゼロから作成して自分の訓練セットで画像を生成する方法を、完全に理解していることでしょう。

奇妙な展覧会を訪れることから始めましょう……。

3.1　展覧会

2人の兄弟Mr. N. CoderとMr. D. Coderは画廊を経営しています。ある週末、彼らは0から9までのモノクロの数字の習作を集めた展覧会を主催します。この展覧会はとても奇妙でした。壁が1つしかなく物理的な作品が1つもないのです。展示する新しい絵画が到着すると、Mr. N. Coderはその絵画を表現する壁の1点を選び、その点に目印を付けると、元の作品は捨ててしまいます。展覧会を見に来た人がその絵画を見たいと言うと、Mr. ...