
回归与预测
|
117
的代理变量)。
相关变量只是回归系数解释中可能碰到的问题之一。在 house_lm 模型中,并没有变量表示
房屋的地段信息,而且模型将不同类型的地段混淆在一起。这样,地段变量可能会成为一
个
混淆变量
。关于混淆变量的更多内容,参见
4.5.3
节。
4.5.2
多重共线性
相关变量的一种极端情况就是在预测变量间存在冗余,这被称为
多重共线性
问题。如果一
个预测变量可以表示为其他变量的一种线性组合,就产生了完美的多重共线性问题。产生
多重共线性的情况有下面几种。
•
在误差中多次包含同一个变量。
•
从一个因子变量创建了
P
个虚拟变量,而非
P
-
1
个虚拟变量(参见
4.4
节 )。
•
两个变量近乎完美相关。
回归中的多重共线性问题必须解决掉。具体做法是依次移除变量,直至去除了多重共线性
问题。如果存在完成的多重共线性,那么表明回归并没有定义良好的解决方案。包括
R
在
内的很多软件包,都会自动处理某些类型的多重共线性。例如,在金县房屋数据 house 的
回归中,两次包括了 SqFtTotLiving 变量,得到的结果与 house_lm 模型给出的一样。对于
非完美的多重共线性,统计软件也许能提供一个解决方案,但这样的结果可能不稳定。
对于树模型、聚类和最近邻等非回归方法,多重共线性可能并不会构成问
题。在这些非回归方法中,可能会建议保留
P
个虚拟变量,而非
P
-
1
个。这
就是说,即便是在这些方法中,非冗余的预测变量可能依然是个优点。
4.5.3
混淆变量
对于相关变量,问题在于“委任”,即回归方程中包括了多个与响应变量具有相似预测关 ...