精通特征工程

100

｜

第

7

章

均匀分布是

k

-

均值算法的最坏情况。如果数据密度是不均匀的，那么就可以使用较少的簇

表示更多数据。通常，很难说数据在高维空间中是如何分布的。有人很保守，会选择一个

更大的

k

，但

k

也不能过大，因为

k

会成为后续建模阶段的特征数量。

7.3

　用于分类问题的

k

-

均值特征化

当使用

k

-

均值作为特征化技术时，一个数据点可以通过它在簇中的隶属关系进行表示（簇

隶属关系分类变量的稀疏

one-hot

编码，参见

5.1.1

节），这将在下面进行说明。

如果还有目标变量，那么也可以将目标变量中的信息作为聚类过程的提示。加入目标变量

信息的一种方法是，直接将目标变量作为

k

-

均值算法的一个额外输入特征。因为我们的目

标是将所有输入维度上的欧氏距离的总和最小化，所以聚类过程除了在初始特征空间中以

外，也会在目标变量值之间平衡相似度。可以对目标变量进行缩放，来增加或减少聚类算

法对它的关注程度。目标变量之间的差距较大时，会生成更加注重分类边界的簇。

k

-

均值特征化

聚类算法可以分析数据的空间分布，因此，

k

-

均值特征化可以生成数据的压

缩空间索引，供下一阶段的模型使用。这就是

模型堆叠

的一个例子。

例

7-3

展示了一个简单的

k

-

均值特征生成器，它定义了一个类对象，可以拟合训练数据并

转换新数据。

例

7-3

　

k

-

均值特征生成器

>>> import numpy as np

>>> from sklearn.cluster import KMeans

>>> class KMeansFeaturizer:

... """Transforms ...