Transformer実践ガイド ―画像・音声・時系列からエージェントまで

4章画像生成のためのTransformer

DALL·E、Imagen、Midjourney、Stable Diffusion などの、テキストに基づいて画像を生成する（Text-to-Image：T2I）モデルの登場により、写実的な画像を生成する新たな時代が始まりました。これらのモデルは、テキスト入力から高精細で文脈に即した画像やアートワークを生成できます。そのため、アーティストやデザイナーだけでなく、創作経験のない人でも、これまでになく容易にアイデアを具現化できるようになりました。

2020年代前半には、拡散モデルを利用する手法がテキストに基づいて画像を生成するモデルの中心的なアプローチとなりました。物理学における拡散（diffusion）とは、分子が高濃度の領域から低濃度の領域へ移動する現象を指します。画像生成の文脈では、拡散モデルはこの原理から着想を得て、ランダムノイズを反復的に洗練します。これにより、ノイズを整合性のある詳細な画像へと段階的に変換します。

この拡散に基づくアプローチは、現在の画像生成モデルの基盤となっています。また、かつて画像生成で主流であった生成的敵対ネットワーク（generative adversarial network：GAN）†1に取って代わりました。この変化は、拡散モデルがより高品質で多様な出力を生成できることが示されたために起こりました。特に、初期の DALL·E は自己回帰型モデルでしたが、DALL·E 2 および DALL·E 3 では拡散ベースの手法が採用されています。

[†1] Ian J. Goodfellow et al. "Generative Adversarial Nets"（https://arxiv.org/pdf/1406.2661 ...