深度学习实战手册（R语言版）

第5章　深度学习中的生成模型

本章将介绍以下主题：

• 比较主成分分析和受限玻尔兹曼机；
• 为伯努利分布输入配置受限玻尔兹曼机；
• 训练受限玻尔兹曼机；
• 受限玻尔兹曼机的反向或重构阶段；
• 了解重构的对比散度；
• 初始化并启动一个新的TensorFlow会话；
• 评估受限玻尔兹曼机的输出；
• 为协同过滤构建一个受限玻尔兹曼机；
• 执行一个完整的受限玻尔兹曼机训练；
• 构建深度信念网络；
• 实现前馈反向传播神经网络；
• 建立一个深度受限玻尔兹曼机。

5.1　比较主成分分析和受限玻尔兹曼机

在本节中，将学习两种广泛推荐的降维技术——主成分分析（Principal Component Analysis，PCA）和受限玻尔兹曼机（Restricted Boltzmann Machine，RBM）。考虑n维空间中的向量v，维度降低技术实质上将向量v转换为具有m维（m＜n）的相对较小（或有时相等）的向量v'。转换可以是线性或非线性的。

PCA对特征执行线性变换，从而生成正交调整的成分，稍后根据它们的方差捕获的相对重要性对其进行排序。这些m个成分可以被视为新的输入特征，可以定义为：

向量

此处，w和c分别对应于权重（加载）和变换后的成分。

与PCA不同，RBM（或深度置信网络 /自动编码器）使用可见和隐藏单元之间的连接执行非线性转换，如第4章“使用自动编码器的数据表示”中所述。非线性有助于更好地理解与潜在变量的关系。随着信息捕获，它们也倾向于消除噪声。RBM通常基于随机分布（伯努利或高斯）。

　进行大量的吉布斯采样来学习和优化可见层和隐藏层之间的连接权重。优化发生在两个阶段：使用给定的可见层对隐藏层进行采样的正向过程，以及使用给定隐藏层对可见层进行重新采样的向后过程。执行优化以使重构误差最小化。 ...