
无监督学习
|
219
从结果中可以看出,因子变量的不同层级基本上由前
4
个类所代理。为了避免出现这样的
问题,我们可以对二元变量做缩放,使其具有比其他变量更小的方差。对于非常大的数据
集,我们可以将聚类应用于具有不同分类值的各个数据子集。例如,我们可以将聚类分别
应用于有房贷的借款者、完全拥有房屋的借款者或租赁房屋的借款者。
本节要点
•
以不同尺度测量的变量,需要转换到相似的尺度上。这样,变量对算法的影响不会
主要由变量的尺度决定。
•
归一化(标准化)是一种常用的缩放方法——减去均值再除以标准偏差计算。
•
另一种缩放方法是高氏距离,它将所有的变量缩放到
[0, 1]
范围内。高氏距离通常
用于含有数值型数据和分类数据的混合数据。
7.6
小结
对于数值型数据的降维,主要使用的工具是主成分分析和
K
-Means
聚类。使用这两种方法
时,需要适当地缩放数据,以确保数据的归约有意义。
如果对聚类良好分离的高度结构化数据做聚类,所有方法可能会给出相似的结果。不同的
方法各有优点。
K
-Means
可以扩展到规模非常大的数据,结果也易于理解。层次聚类可应
用于含有数值型数据和分类数据的混合数据,并能给出直观的显示(即树状图)。基于模
型的聚类方法不同于上面两种启发式方法,它是根据统计学理论提出的,因此更为严格。
但是对于规模非常大的数据集,聚类主要使用
K
-Means
方法。
对于有噪声的数据,例如贷款数据和股票数据(数据科学家所面对的大部分数据集都是有
噪声的),选择更为重要。
K
-Means
、层次聚类,尤其是基于模型的聚类,都会给出完全不 ...