
214
|
第
7
章
同义词:标准化
高氏距离
(
Gower
’
s distance
)
一种应用于数值数据和类别数据相混合的缩放算法。它可以将所有变量缩放到
[0, 1]
范围内。
以个人贷款数据为例,数据中的变量在单位和数量上存在很大的差别。其中,一些变量的
值相对较小,例如工作年限;而另一些变量的值则非常大,例如以美元为单位的贷款数
额。如果不缩放数据,那么主成分分析、
K
-means
等聚类方法将会被数值较大的变量所主
导,进而忽略那些数值较小的变量。
在一些聚类过程中,分类数据可能会引发一些特殊的问题。就
K
最近邻而言,无序因子变
量通常需要使用独热编码(参见
6.1.3
节)转换为一组值为
0
或
1
的二元变量。而二元变
量不仅会与其他数据具有不同的规模,而且二元变量只有两个值这一事实就可以证明主成
分分析、
K
-means
等方法会存在问题。
7.5.1
变量的缩放
在应用聚类之前,需要对具有完全不同尺度和单位的变量做适当的归一化处理。例如,下
面代码不对贷款拖欠数据做归一化处理,就应用了 kmeans 函数。
df <- defaults[, c('loan_amnt', 'annual_inc', 'revol_bal', 'open_acc',
'dti', 'revol_util')]
km <- kmeans(df, centers=4, nstart=10)
centers <- data.frame(size=km$size, km$centers)
round(centers, digits=2)
size ...