
102
|
第
4
章
1
1
2
1
0 1
( )( )
ˆ
( )
ˆ ˆ
n
i i
i
n
i
i
Y Y X X
b
X X
b Y b X
=
=
− −
=
−
= −
∑
∑
回望过去,最小二乘法之所以得到广泛的使用,一个重要原因就是该方法便于计算。随着
大数据的出现,计算速度依然是一个重要因素。与均值(参见
1.3.2
节)一样,最小二乘
法也对离群值敏感,但这一般只在小规模或中等规模问题中是大问题。参见
4.6.1
节对回
归中的离群值的介绍。
回归术语
分析人员和研究人员在使用
回归
这一术语时,通常指的是线性回归。他们关
注的是如何给出一个线性模型,去解释预测变量与数值型结果变量之间的关
系。在正式的统计学意义上,回归还包括生成预测变量和结果变量之间函数
关系的非线性模型。在机器学习领域中,该术语的用法偶尔也会十分宽泛,
它可以指代任何生成数值型预测结果的预测模型(不同于预测二元输出或分
类结果的分类方法)。
4.1.4
预测与解释
(
剖析
)
一直以来,回归主要用于展示预测变量和结果变量之间是否存在一种假定的线性关系。回
归的目标是理解变量之间的关系,并使用回归所拟合的数据去解释该关系。在这类应用
中,人们关注的主要是回归方程斜率的估计值 。例如,经济学家想要知道消费者支出与
GDP
增长之间的关系,公共卫生官员可能想知道公共信息运动对于提升安全性行为是否有
效。这时,人们关注的并非是如何预测个别的案例,而是理解数据中的整体关系。
随着大数据的出现,回归广泛用于构建对新数据预测单个结果的模型(即预测模型),而
不是解释手头已有的数据。在这类应用中,人们主要关注的是拟合值 ...