数据科学原理

第6章　高等概率论

在上一章，我们介绍了概率论的基础知识，以及如何利用这些定理解决复杂问题。简而言之，概率论是对事件发生的可能性进行建模的一门数学。我们用概率定理计算独立事件和复合事件发生的概率。

本章中，我们将介绍更加复杂的概率学理论，以及如何利用这些理论提升预测能力。本章介绍的主题有：

• 互补事件（collectively exhaustive events）。
• 贝叶斯理论。
• 基本的预测规则。
• 随机变量。

贝叶斯理论和随机变量等高等概率论知识，将引出常见的机器学习算法（如朴素贝叶斯算法）。在学习以上概念之前，我们需要了解什么是互补事件。

6.1　互补事件

对于包含两个事件以上的事件集，如果事件集中至少有一个事件发生，我们称这些事件为互补事件。比如：

• 对于事件集{温度低于60℃，温度高于90℃}，这些事件不是互补事件，因为温度有可能介于60℃和90℃之间。事实上，这两个事件是互斥事件（mutually exhaustive），因为温度不可能同时低于60℃、高于90℃。
• 掷骰子事件集{1,2,3,4,5,6}是互补事件，因为这些事件是所有骰子可能出现的点数，骰子点数肯定是其中之一。

6.2　重温贝叶斯思想

在上一章，我们简单介绍了贝叶斯思想。简而言之，当我们讨论贝叶斯时，我们关注以下3个事情和它们之间的关系：

• 先验分布（prior distribution）。
• 后验分布（posterior distribution）。
• 似然度（likelihood）。

通常来讲，我们更关心后验分布，因为它是我们想知道的答案。

另一种理解贝叶斯思想的方法是，数据会影响我们的判断。我们有一个先验概率，或者有一个关于假设朴素的想法，然后根据历史数据，得出该假设的后验概率。

6.2.1　贝叶斯定理 ...