生成AIのプロンプトエンジニアリング ―信頼できる生成AIの出力を得るための普遍的な入力の原則

7章画像生成のための拡散モデル入門

　この章では、AIによる画像生成において非常に人気のある拡散モデル（Diffusion Model）をいくつか紹介します。それらのモデルの利点と制限事項を学ぶことで、タスクに応じて適切なものを、自信を持って選択できるようになります。

　2015年に導入された拡散モデルは、テキストから画像を生成するための生成モデルの一種であり、驚異的な結果を示しています。2022年にリリースされたDALL-E 2は、拡散モデルから生成される画像の品質に大きな飛躍をもたらし、オープンソースのStable Diffusionやコミュニティーで人気のMidjourneyがそれに続き、競争の激しい分野となりました。DALL-E 3がChatGPTに統合されたことで、テキスト生成と画像生成の境界がますます曖昧になっていくことが予想されます。しかし、高度な生成画像を求めるユーザーは、最良の結果を得るために画像生成に特化したモデルの利用を引き続き必要とするでしょう。

　拡散モデルは、画像へのランダムなノイズの段階的な追加（拡散過程）と除去（逆拡散過程）により学習されたモデルで、ノイズが除去されたクリアな画像を予測（生成）することができます。このアプローチは物理学に由来し、粒子が媒体を通じて拡散する様子をシミュレートするために使用されてきました。

　特に、拡散モデルに対してテキストで指示が可能なよう拡張された画像生成モデルは、テキストに対応した画像を生成するように、ランダムなノイズが追加された画像に加え、画像の説明を併用して訓練されます。そのため、モデルが生成した画像が入力されたテキストの意図するものではない場合、モデルのニューラルネットワークの重みが調整され、意図する画像を生成する能力が向上します。 ...