生成 Deep Learning 第2版 ―絵を描き、物語や音楽を作り、ゲームをプレイする

5章自己回帰モデル

5章の目標

• なぜ自己回帰モデルがテキストのような系列データの生成に適しているのかを学ぶ。
• テキストデータを処理してトークン化する方法を学ぶ。
• 再帰型ニューラルネットワーク（RNN）のアーキテクチャ設計について学ぶ。
• Kerasを用いて長・短期記憶（LSTM）ネットワークを構築して訓練する。
• LSTMを使用して新しいテキストを生成する。
• ガイド付き再帰型ユニット（GRU）や双方向セルなど、RNNのバリエーションについて学ぶ。
• 画像データをピクセルの並びとして扱う方法を理解する。
• PixelCNNのアーキテクチャ設計について学ぶ。
• Kerasを使ってPixelCNNを構築する。
• PixelCNNを使って画像を生成する。

これまで、潜在変数を含む2つの異なる生成モデルである、変数オートエンコーダ（VAE）と敵対的生成ネットワーク（GAN）を説明してきました。どちらの場合も、サンプリングが容易な分布を持つ新しい変数が導入され、モデルはこの変数を元の領域にデコードする方法を学習します。

ここで自己回帰モデルに注目します。これは、生成モデリングの問題をシーケンスプロセスとして扱うことによって単純化するモデルです。自己回帰モデルは、潜在的な確率変数ではなく、そのシーケンスの以前の値に関する予測を条件付けます。したがって、（VAEの場合のように）データ生成分布を近似するのではなく、データ生成分布を明示的にモデル化します。

この章では、2つの異なる自己回帰モデル——LSTMとPixelCNN——を探求します。LSTMをテキストデータに、PixelCNNを画像データに適用します。もう1つの非常に成功した自己回帰モデル——トランスフォーマ——については「9章　トランスフォーマ ...