R概率图模型入门与实践

第3章　学习参数

构建概率图模型大致需要3个步骤：定义随机变量，即图中的节点；定义图的结构；以及定义每个局部分布的数值参数。到目前为止，最后一步已经通过人工解决，我们可以手动给每个局部概率分布指定数值。在很多情形中，我们可以获取到大量数据，并使用叫作参数学习（Parameter Learning）的方法找出这些参数的取值。在其他领域中，这种方法也叫作参数拟合（Parameter Fitting ）或者模型校准（Model Calibration）。

参数学习是机器学习中的重要课题。在这一章中我们会看到如何使用数据集为给定的图模型学习参数。我们会从一个简单但是常见的例子开始，其中的数据完全可观测。然后进入一个复杂的例子，其中的数据部分可观测，需要更多先进的技术。

参数学习可以通过多个手段完成，问题本身没有终极解决方案，因为问题依赖于模型使用者的最终目的。尽管如此，人们还是经常使用最大似然率的思想，并最大化后验概率。既然已经熟悉了先验概率和后验概率的分布，那么读者对最大化后验概率也应该有一些认识。

在这一章中，我们会使用数据集。当模型中有许多变量时，我们在任何时候都可以观测到这些变量的取值。所有变量同一时刻的观察结果表示一个数据集。例如，我们有一个关于某位学生在大学中表现的模型。在这个模型中，我们有几个随机变量，例如年龄、课程、分数、性别和年份等。一个观察结果可以是{21, Statistics, B+, female, 2nd year}。一个数据集就是这些观测结果的大型集合。

在整个这一章中，我们会做一个假设，即数据集是i.i.d的，独立同分布（Independently and Identically Distributed）的缩写。这意味着每个变量都假设服从同样的概率分布，且每个观测又独立于数据集中的其他变量。对于刚才学生的例子，这也很自然。但是如果我们考虑时间序列数据集，例如一个国家的GDP，那么数据集就不是 ...