精通特征工程

非线性特征化与

k

-

均值模型堆叠

｜

107

k

-

均值特征化适合实数型、有界的、能在空间中形成块状密集区域的数值特征。块状区域

可以是任意形状，因为我们可以增加簇的数量来近似它们。（与经典聚类方法不同，我们

不关心如何找出簇的“真实”数目，而只需覆盖它们。）

k

-

均值不能处理欧氏距离无效的特征空间，即分布奇特的数值型变量或分类变量。如果特

征集合中包括这种变量，那么有以下几种处理方法。

(1)

仅在实数型、有界的数值特征上应用

k

-

均值特征化。

(2)

自定义一种度量方式，用来处理多种数据类型，并使用

k

-

中心点算法。（

k

-

中心点是一

种与

k

-

均值类似的方法，允许使用任意的度量方式。）

(3)

先将分类变量转换为分箱计数统计量（见

5.2.2

节），再使用

k

-

均值对其进行特征化。

与处理分类变量和时间序列的技术相结合，

k

-

均值特征化可以用来处理经常出现在像客户

营销和销售分析这种情境下的大批量数据。最后得到的簇可以看作对用户的细分，这在随

后的建模阶段是非常有用的特征。

7.5

　小结

本章介绍了模型堆叠的概念，使用的是一种非传统的方法：将有监督的

k

-

均值聚类和简单

的线性分类器结合起来。

k

-

均值通常被用作无监督建模方法，目的是在特征空间中找出数

据点的密集簇。但在本章中，可以有选择地为

k

-

均值提供类标签作为输入，这有助于

k

-

均

值找到与类别边界更加对齐的簇。

下一章将讨论深度学习，它通过将各层神经网络彼此叠加在一起，将模型堆叠提高到了一

个新的水平。

ImageNet

大规模视觉识别竞赛近期的两位优胜者使用了

13

层和

22

层的神

经网络。他们利用了现有的大量未标记训练图像，从中找寻能得到良好图像特征的像素组 ...