生成 Deep Learning 第2版 ―絵を描き、物語や音楽を作り、ゲームをプレイする

10章高度なGAN

10章の目標

• GANを段階的に訓練することで、ProGANモデルがどのようにして高解像度の画像を生成しているのか確かめる。
• ProGANをどのように適応すれば、画像合成用の高性能GANであるStyleGANが構築できるかを理解する。
• StyleGANをどのように調整すれば、最先端のモデルであるStyleGAN2が構築できるかを探索する。
• これらのモデルの主な貢献（プログレッシブトレーニング、適応型インスタンス正規化、重み変調と復調、パス長の正則化など）について学ぶ。
• アテンション機構をGANフレームワークに組み込んだ自己アテンション型GAN（Self-Attention GAN：SAGAN）のアーキテクチャを調べる。
• SAGANのアイデアを発展させることで、BigGANがどのようにして高品質な画像を生成しているかを理解する。
• VQ-GANが、画像を、トランスフォーマでモデリング可能なトークンの離散的なシーケンスにエンコードする際に用いるコードブックの使用方法を学ぶ。
• ViT VQ-GANが、どのようにVQ-GANアーキテクチャのエンコーダとデコーダで使用している畳み込み層の代わりにトランスフォーマを使用できるようにしているか理解する。

「4章　敵対的生成ネットワーク」では、生成モデルの一種であり、さまざまな画像生成タスクにおいて最先端の結果を生み出してきた敵対的生成ネットワーク（generative adversarial network：GAN）を紹介しました。このモデルのアーキテクチャと訓練プロセスが柔軟であるため、研究者やディープラーニングのエンジニアは、GANを設計・訓練する新しい方法を見つけ出せるようになり、この章で探索する先進的なアーキテクチャが数多く生まれました。 ...