生成式深度学习，第二版

第 6 章 流量模型标准化 规范化流量模型

本作品已使用人工智能进行翻译。欢迎您提供反馈和意见：[e-mail]

章节目标

在本章中，您将

• 了解归一化流量模型如何利用变量变化方程。

• 看看雅各布行列式如何对我们计算显式密度函数的能力起到至关重要的作用。

• 了解如何利用耦合层限制雅各布的形式。

• 看看神经网络是如何设计成可反转的。

• 建立一个 RealNVP 模型--一个在二维中生成点的归一化流程的特殊示例。

• 使用 RealNVP 模型生成看似从数据分布中提取的新点。

• 了解 RealNVP 模型的两个关键扩展：GLOW 和 FFJORD。

到目前为止，我们已经讨论了三个生成模型系列：变异自动编码器、生成对抗网络和自回归模型。每种模型都提出了不同的方法，以应对对分布建模的挑战 $p\left(x\right)$的挑战，或者通过引入一个可以轻松采样的潜在变量（并使用 VAE 中的解码器或 GAN 中的生成器进行转换），或者通过将分布建模为前面元素值的函数（自回归模型）。

本章我们将介绍一个新的生成模型系列--归一化流模型。我们将看到，归一化流与自回归模型和变分自编码器都有相似之处。与自回归模型一样，归一化流模型能够明确而简便地模拟数据生成分布 $p\left(x\right)$.与 VAE 类似，归一化流也试图将数据映射成更简单的分布，如高斯分布。主要区别在于，归一化流量对映射函数的形式进行了限制，使其具有可逆性，从而可用于生成新的数据点。

在使用 Keras 实现名为 RealNVP 的归一化流模型之前，我们将在本章第一节详细探讨这一定义。我们还将了解如何扩展归一化流以创建更强大的模型，如 GLOW 和 FFJORD。

导言

我们 将从一个小故事开始，来说明流量正常化背后的关键概念。

雅各布和飞行器

在访问一个小村庄时，你注意到一家看起来很神秘的商店，门上的招牌写着JACOB'S。你很好奇，小心翼翼地走进去，问站在柜台后面的老人他卖什么（图 6-1）。

图 6-1. 蒸汽朋克商店内部，一个巨大的金属钟（使用Midjourney 创建）

他回答说，他提供绘画数字化服务，但与众不同。他告诉你，这代表着 "Finding Likenesses Of Watercolors（寻找水彩画中的相似之处）"，这大概就是这台机器的功能。你决定试试这台机器。

第二天，你再来店里，递给店主一套你最喜欢的画作，店主把它们递给机器。机器开始发出嗡嗡的口哨声，过了一会儿输出了一组随机生成的数字。店主把清单递给你，然后开始走向收银台，计算你欠他多少数字化过程和 F.L.O.W. 盒子的费用。你明显不以为然，问店主该如何处理这一长串数字，以及如何才能拿回你心爱的画作。

店主翻了翻白眼，似乎答案是显而易见的。他走回机器旁，把一长串数字输入机器，这次是从机器的另一侧输入。你再次听到机器的呼呼声，疑惑地等待着，直到最后你原来的画从输入的地方掉了出来。

终于把画拿回来了，您松了一口气，决定最好还是把画存放在阁楼上。然而，你还没来得及离开，店主就把你带到了商店的另一个角落，那里的椽子上挂着一个巨大的铃铛。他用一根巨大的棍子敲击铃铛的曲线，让整个商店都在震动。

瞬间，你手臂下的 F.L.O.W. 机器开始发出嘶嘶的反向呼啸声，仿佛一组新的数字刚刚传入。片刻之后，更多美丽的水彩画开始从 ...