ゼロから作るDeep Learning ❺ ―生成モデル編

ステップ8拡散モデルの理論

ここまで私たちはVAEについて学びました。もちろん、それで満足するわけにはいきません。私たちはVAEを発展させ、さらに先へと進みます。具体的には、VAEの潜在変数を階層化した「階層型VAE」を導出します。そして、階層型VAEをさらに発展させる形で「拡散モデル」へと進みます。この流れが興味深く、美しくもあります。数式はやや込み入ったものになりますが、まずは全体の流れを把握することを目標にしましょう。その後で、時間をかけて数式に挑むことをおすすめします。

8.1　VAEから拡散モデルへ

本ステップで導出する「拡散モデル」は、正確には「Denoising Diffusion Probabilistic Models（DDPM）[11]」というモデルです。DDPMやそれに似たモデルは数多く提案されており、それらを総称して「拡散モデル」と呼びます。本書ではDDPMを指して、単に「拡散モデル」と呼ぶことにします。なお、Denoising Diffusion Probabilistic Modelsの各単語は次の意味があります。

• Denoising（デノイジング）：ノイズの除去
• Diffusion（拡散）：物質が均一に広がる現象
• Probabilistic（確率的）：確率を用いた手法

この言葉の意味は本節を読み進めていくと理解できるでしょう。それではVAEの復習から始めます。

8.1.1　VAEの復習

もう一度、VAEについて振り返ります。VAEは潜在変数のあるモデルでした。データ生成は、潜在変数を固定の正規分布よりサンプリングし、潜在変数から観測変数への変換をニューラルネットワークで行います。そして、VAEではもうひとつ別のニューラルネットワークを使い、観測変数から潜在変数への変換を行います。このVAEの構成を図で表すと、 ...