R概率图模型入门与实践

第7章　概率混合模型

我们已经看到了一些混合模型的例子，例如高斯混合模型，它通过有限个数的高斯模型来表示数据集。在这一章中，我们会关注更复杂的混合模型的例子。我们会从高斯混合模型开始，逐渐到隐狄利克雷分布。学习很多模型的原因是要刻画的数据的诸多方面用高斯混合模型表示并不方便。

在很多情况下，我们会用期望最大化算法找出模型的参数。而且，大部分混合模型似乎都无法轻松找到答案，我们需要近似推断。

我们将要看到的第一种模型是简单分布的混合。简单分布可以是高斯分布、伯努利分布、泊松分布等。基本原理是相同的，但是应用场景可能不同。高斯分布适合用于刻画大量数据点，伯努利分布适合分析黑白图像，例如手写字体识别。

我们会放松混合模型的一个假设，看到第二个模型，即专家混合。它会选择一个依赖数据点的聚类。它可以当作概率决策树的第一个方法。

最后我们会看到非常强大的模型，即隐狄利克雷分布（Latent Dirichlet Allocation，LDA）。在这个模型中，我们放松了混合模型的另外一个假设。在混合模型中，一个数据点应该由一个簇生成。在LDA中，它可以同时属于多个簇。这个模型成功地用在了文本分析等工作中。它属于混合成员模型族中的一个。

我们会在本章中介绍下列内容：

• 混合模型的一般介绍，以及几个分布的示例；
• 专家混合，其中我们假设数据簇依赖数据点；
• LDA，其中我们假设一个数据点属于多个数据簇。

7.1　混合模型

混合模型是隐变量模型这一大类中的一个模型，其中的一些变量是无法观测到的。混合模型经常通过把所有变量分到几个具有不同含义的组中，来简化模型。另外，混合模型也会引入模型隐含的过程，即数据生成的真正原因。或者说，假设我们有一个模型集合，一些隐含的信息会选择其中一个模型，然后从已选的模型中生成数据点。 ...