生成式深度学习，第二版

第 7 章 基于能量的模型 基于能量的模型

本作品已使用人工智能进行翻译。欢迎您提供反馈和意见：[e-mail]

章节目标

在本章中，您将

• 了解如何制定基于能量的深度模型 (EBM)。

• 查看如何使用朗文动力学从 EBM 中采样。

• 使用对比发散法训练自己的 EBM。

• 分析 EBM，包括查看 Langevin 动态采样过程的快照。

• 了解其他类型的 EBM，如受限玻尔兹曼机。

基于能量的模型 是一类广泛的生成模型，它借鉴了物理系统建模的一个关键理念--即事件发生的概率可以用波尔兹曼分布来表示，波尔兹曼分布是一个特定的函数，它将实值能量函数归一化为 0 和 1 之间的值。波尔兹曼分布最初是由路德维希-波尔兹曼于 1868 年提出的，他用波尔兹曼分布来描述热平衡状态下的气体。

在本章中，我们将了解如何利用这一理念来训练一个生成模型，并将其用于生成手写数字图像。我们将探索几个新概念，包括用于训练 EBM 的对比发散和用于采样的朗格文动力学。

导言

我们 将从一个小故事开始，说明基于能量的模型背后的关键概念。

龙奥文跑步俱乐部

Diane Mixx 是虚构的法国小镇 Long-au-Vin 长跑队的主教练。她以出色的训练能力而闻名，即使是最平庸的运动员也能被她训练成世界级选手（图 7-1）。

图 7-1. 一名跑步教练正在训练一些精英运动员（使用Midjourney 创建）

她的方法主要是评估每个运动员的体力水平。在多年与各种能力的运动员合作的过程中，她已经形成了一种令人难以置信的准确感觉，即只需观察一下运动员，就能知道他们在赛后还有多少体力。运动员的体力水平越低越好，精英运动员在比赛中总是全力以赴！

为了保持技能的敏锐性，她经常通过测量自己对已知精英运动员和俱乐部中最优秀运动员的能量感应能力之间的对比来训练自己。她确保自己对这两个群体的预测之间的差异尽可能大，这样，如果她说在她的俱乐部中发现了真正的精英运动员，人们就会认真对待她。

真正的神奇之处在于她有能力将一名平庸的跑步者转变为一流的跑步者。这个过程非常简单--她测量运动员当前的能量水平，并制定出运动员需要做出的一系列最佳调整，以提高他们下一次的成绩。然后，在做出这些调整后，她再次测量运动员的能量水平，寻找比之前略低的能量水平，这就是在赛道上成绩提高的原因。这种评估最佳调整并朝着正确方向迈出一小步的过程会一直持续下去，直到运动员最终与世界级选手无异。

多年后，戴安娜从教练岗位上退休，并出版了一本书，介绍她培养精英运动员的方法--她将这套方法命名为 "Long-au-Vin, Diane Mixx "技术。

Diane Mixx 和 Long-au-Vin 跑步俱乐部的故事捕捉到了基于能量的建模背后的关键思想。现在，让我们在使用 Keras 实现一个实际示例之前，更详细地探讨一下该理论。

基于能量的模型

基于能量的模型 试图用波尔兹曼分布来模拟真实的数据生成分布（公式 7-1），其中 $E\left(x\right)$称为 观测数据的能量函数（或分数$x$.

公式 7-1. 玻尔兹曼分布

$$p\left(𝐱\right)=\frac{e^{-E\left(𝐱\right)}}{{\int }_{\widehat{𝐱}\in 𝐗}{e}^{-E\left(\widehat{𝐱}\right)}}$$

实际上，这相当于训练一个神经网络 $E\left(x\right)$