生成 Deep Learning 第2版 ―絵を描き、物語や音楽を作り、ゲームをプレイする

7章エネルギーベースモデル

7章の目標

• エネルギーベースモデル（energy-based model：EBM）の定式化方法を理解する。
• ランジュバン動力学を用いたEBMからのサンプリング方法を理解する。
• コントラスティブダイバージェンスを使って自分のEBMを訓練する。
• EBMを分析する。ランジュバン動力学のサンプリングプロセスのスナップショットを撮る。
• 制限付きボルツマンマシンなどの他のEBMについて学ぶ。

エネルギーベースモデル（EBM）は、物理システムのモデリングから重要なアイデアを借用した応用の広いの生成モデルです。ここで用いられているのは、ある事象の確率はボルツマン分布（実数値のエネルギー関数を0と1の間で正規化する特定の関数）で表現できる、というものです。この分布は1868年にルートヴィッヒ・ボルツマンが定式化したもので、熱平衡にある気体を記述するために使われました。

この章では、手書き数字の画像を生成する生成モデルの訓練に、このアイデアをどのように使うのか見ていきます。そして、EBMを訓練するためのコントラスティブダイバージェンスや、サンプリングのためのランジュバン動力学など、いくつかの新しい概念を探求します。

7.1　イントロダクション

EBMの背後にある重要な概念を説明する短い物語から始めましょう。

Long-au-Vinランニングクラブ

Diane Mixxは、フランスの架空の町Long-au-Vinの長距離走チームのヘッドコーチです。彼女はトレーナーとしての卓越した能力でよく知られており、どんなに平凡な選手でもワールドクラスのランナーに変身させることができるという評判を得ていました（図7-1）。

図7-1　エリートアスリートをトレーニングするランニングコーチ（Midjourneyで作成。 ...