scikit-learn机器学习（第2版）

第5章　从简单线性回归到多元线性回归

在第2章中，我们使用简单线性回归对一个解释变量和一个连续响应变量之间的关系进行建模，并使用披萨的直径去预测其价格。在第3章中，我们介绍了KNN并使用多于一个解释变量去进行预测的分类器和回归器。在本章中，我们将讨论多元线性回归，它是一种将一个连续响应变量在多个特征上进行回归的简单线性回归泛化形式。我们首先将解出能将RSS代价函数极小化的参数值。接着介绍一种能预估多种代价函数极小值参数值的强大的学习算法，称为梯度下降法。我们还将讨论另一种多元线性回归的特殊形式——多项式回归，并了解增加模型的复杂度将增大模型泛化失败风险的原因。

5.1　多元线性回归

之前我们训练并评价了一个用于预估披萨价格的模型。尽管你非常急切地想要向朋友、同事介绍这个披萨价格预测器，你还是很担心这个模型并不完美的判定系数和其预测结果会给你带来的尴尬场面。你应该如何提升这个模型呢？

回顾一下你个人吃披萨的经验，从直觉上你可能感到披萨的其他特征也和其价格相关联。例如，披萨的价格经常由披萨顶部配料的数量决定。幸运的是，你的披萨手册详细地描述了其顶部配料，让我们增加顶部配料的数量作为第2个解释变量。我们在此不能使用简单线性回归进行处理，但是我们可以使用一种称为多元线性回归的简单线性回归的泛化形式，它可以使用多个解释变量。多元线性回归模型如公式5.1所示：

（公式5.1）

和简单线性回归使用单一解释变量和单一系数不同，多元线性回归使用任意数量的解释变量，每个解释变量对应一个系数。用于线性回归的模型也可以被表示为向量计法，如公式5.2所示： ...