R概率图模型入门与实践

第4章　贝叶斯建模——基础模型

在学习完如何表示图模型，如何计算后验分布，如何用最大似然估计使用参数，以及如何在数据缺失和存在隐含变量下学习相同的模型时，我们要深入研究使用贝叶斯范式来进行建模的问题。在本章中，我们会看到一些简单的问题并不容易建模和计算，进而需要特定的解决方案。首先，推理是一个困难的问题，联结树算法只能解决特定的问题。其次，模型的表示目前都是基于离散变量的。

在本章中，我们将介绍简单但功能强大的贝叶斯模型，并展示如何作为概率图模型表示它。我们会看到使用不同的技术，它们的参数可以有效地学习出来，以及如何以最有效的方式在这些模型上进行推理。我们将看到这些算法可以适应这些模型，同时考虑到每个特异性。

首先，我们开始使用带有连续值的变量，即可以取任意数值的随机变量，而不仅仅是有限数量的离散数值。

我们会看到一些简单的模型，它们是复杂解决方案的基本构成。这些模型是基本的模型，我们将从非常简单的事情逐渐过渡到更复杂的问题，如高斯混合模型。所有这些模型都在被广泛使用，并有很好的贝叶斯表示。我们会在这一章逐步介绍。

更具体地，我们会对如下模型感兴趣：

• 朴素贝叶斯模型及其扩展，主要用于分类。
• Beta-二项分布模型，这也是最基础的模型。
• 高斯混合模型，最常用的聚类模型之一。

4.1　朴素贝叶斯模型

朴素贝叶斯模型是机器学习中最出名的分类模型。虽然看上去很简单，但是这个模型非常强大而且只需要很少的精力就可以输出很好的结果。当然，在考虑分类问题的时候不应该只局限于一个模型，我们还要尝试更多的模型，看看对于特定的数据集哪一种模型是最好的。

分类是机器学习中的一类重要问题，它可以定义为一种关联观察结果和具体类别的任务。假设我们有包含n个变量的数据集，并给每一个数据点指认一个类别。这个类别可以是{0,1}、{ ...