
146
|
第
4
章
用。离群点也可能是由其他问题造成的,比如由于“胖手指”按错键而造成的输入错误,
或者单位不匹配(例如,销售额单位使用了千美元,而不是美元)。
图 4-4:最大负残差记录的法定担保契约
对于大数据问题,在拟合用于预测新数据的回归模型时,离群点通常不会造成什么影响。
不过,离群点在异常检测中极其重要。异常检测就是要找出离群点,离群点可以对应于一
次欺诈或者一次意外的行为。在任何情况下,检测离群点都是一种重要的业务需求。
4.6.2
强影响值
如果有一个值,缺少了它会显著改变回归方程,那这个值就称为
强影响观测
。在回归中,这
种值不一定有很大的残差。下面看一个例子,如图
4-5
所示
,实线是使用所有数据进行的回
归,而虚线是除去了右上角数据点之后的回归。显然,这个数据点对回归有巨大的影响,但
对于全数据回归来说,它并不是一个明显的离群点。这种数据值就是回归的
高杠杆值
。
图 4-5:回归中强影响数据点的一个例子
除了标准化残差(参见
4.6.1
节),统计学家还提出了几种度量方式来确定单条记录对回归
的影响。杠杆值的一种常用测量方式是
帽子值
(
hat-value
)
。如果帽子值大于
2(
P
+ 1)/
n
,