第3章　线性回归建模

“在过去三个多世纪的科学发展中，一切都发生了改变，唯一不变的是人们对简单事物的热爱。”

——乔治·瓦根斯伯格（Jorge Wagensberg）

从古典乐到雷蒙斯乐队（The Ramones）的Sheena is a Punk Rocker，再到车库乐队那些默默无闻的热门歌曲，再到皮亚佐拉（Piazzolla）的Libertango，这些音乐都由一些不断重复的韵律所组成。同样的音阶、和弦组合、即兴演奏、主题等等，一次又一次地出现，产生了一幅美妙的音乐景观，调节出了人类可以体验到的所有情感。以类似的方式，统计学和机器学习的世界是建立在重复模式和小主题之上的。在本章中，我们将研究其中最流行和最有用的模型之一——线性模型。线性模型是一个非常有用的模型，也是很多其他模型的基石。如果你曾经上过统计学课程（即使是非贝叶斯课程），你可能已经听说过一元线性回归和多元线性回归、逻辑回归、方差分析、协方差分析等。这些方法都是线性回归模型的不同变种，即线性回归模型。在本章中，我们将介绍以下主题。

● 一元线性回归。

● 鲁棒线性回归。

● 分层线性回归。

● 多项式回归。

● 多元线性回归。

● 交互作用。

● 变量方差。

3.1　一元线性回归

在科学界、工业界及商业界中，经常会遇到下面这类问题：我们有一个变量x，想要预测或者建模一个变量y。很重要的一点是，这些变量都是成对出现的，如。在最简单的一元线性回归中，x和y都是一维的连续随机变量。这里连续的意思是指，变量可以用实数来表示（或者说是浮点数，如果你愿意），如果使用NumPy，可以用一维数组来表示变量 ...