
166
|
第
6
章
为例,距离几乎完全是收入和贷款数额这两个变量的函数,它们是从数万乃至数十万条记
录中测量的。相比之下,比率变量几乎不起作用。这个问题可以使用数据的标准化解决,
参见
6.1.4
节。
其他距离度量
还有很多测量向量间距离的度量。对于数值型数据,还经常使用
马氏距离
。
它考虑了两个变量之间的相关性,这一点十分有用。如果两个变量是高度相
关的,那么使用马氏距离就可以在距离上将它们基本视为同一变量。欧氏距
离和曼哈顿距离并未考虑相关性,只是对这些特征的属性添加了更大的权
重。马氏距离的缺点是在计算中要使用
协方差矩阵
,这增加了计算的难度和
复杂性,参见
5.2.1
节。
6.1.3
独热编码
表
6-1
列出的贷款数据中包含了多个因子(字符串)变量。对于大多数统计学和机器学习
模型而言,这类变量需要转换为一组承载了同样信息的二元虚拟变量,如表
6-2
所示。我
们没有使用一个变量将住房情况表示为“有房产但有房贷”“有房产且无房贷”“租房”或
“其他”,而是使用了
4
个二元变量。第一个变量表示“是否有房产但有房贷”,第二个变
量表示“是否有房产且无房贷”等。因此,住房情况这个预测变量生成了一个向量,其
中包括一个“
1
”和三个“
0
”。这样的向量可以用在统计学和机器学习算法中。
独热编码
(
one hot encoding
)源自数字电路中使用的术语,描述了在电路设置中只允许一个位是正向
的(即“热”)。
表6-2:以数值型虚拟变量表示房产情况的因子数据
有房贷 其他 有房 租房
1 0 0 0
1 0 0 0
1 0 0 0
1 0 0