第11章　从感知机到支持向量机

在前一章中，我们介绍了感知机，并描述了为什么它不能有效地对线性不可分数据进行分类。回想一下，当我们在讨论多元线性回归时遇到过一个相似的问题：我们需要检测一个响应变量和解释变量线性不相关的数据集。为了提升模型的准确率，我们介绍了一个称之为多项式回归的多元线性回归的特殊形式。在创建了合成特征之后，便可以对响应变量和更高维度的特征空间中的特征之间的线性关系进行建模。

当使用线性模型逼近非线性模型时，增加特征空间的维度虽然似乎是一种有效的技巧，然而它也带来了两个相关问题。第1个问题是计算问题，计算映射特征和计算更大的向量会需要更多的算力。第2个问题涉及模型的泛化能力，增加特征表示的维度会加剧维度诅咒的程度。为了避免拟合，从高维度特征表示中学习需要的训练数据将会呈指数增长。

在本章中，我们将讨论一种称为支持向量机（SVM），用于分类和回归的强大判别模型。首先我们将重新考虑把特征映射到更高维度的空间。接着我们将讨论支持向量机如何去缓和从映射到高维空间的数据中学习时遇到的计算问题和泛化问题。已经有很多书致力于描述支持向量机，同时描述用于支持向量机的优化算法，这需要使用比前面章节更高级的数学方法。和前面章节中详细地解释简单例子不同，我们将尝试建立一种支持向量机如何运行的直觉，以便更有效地使用scikit-learn类库。