精通特征工程

66

｜

第

5

章

5.1

　分类变量的编码

分类变量中的类别通常不是数值型的。

1

例如，眼睛的颜色可以是“黑色”“蓝色”和“褐

色”，等等。因此，需要一种编码方法来将非数值型的类别转换为数值。我们很容易想到，

可以简单地为

k

个可能类别中的每个类别分配一个整数，如从

1

到

k

，但这样做的结果是

使类别彼此之间有了顺序，这在分类变量中是不允许的。所以，我们要想个别的方法。

5.1.1

　

one-hot

编码

更好的方法是使用一组比特位，每个比特位表示一种可能的类别。如果变量不能同时属于

多个类别，那么这组值中就只有一个比特位是“开”的。这就是

one-hot

编码

，它可以通

过

scikit-learn

中的

sklearn.preprocessing.OneHotEncoder

实现。每个比特位表示一个特

征，因此，一个可能有

k

个类别的分类变量就可以编码为一个长度为

k

的特征向量。表

5-1

给出了一个例子。

表5-1：表示3个城市的分类变量的one-hot编码

e

1

e

2

e

3

San Francisco 1 0 0

New York 0 1 0

Seattle 0 0 1

one-hot

编码很容易理解，但它使用的比特位要比实际需要的多一位。如果

k

-

1

位都是

0

，

那么最后一位肯定是

1

，因为变量必须取

k

个值中的一个。在数学上，可以将这个限制条

件表述为“所有位的和必须等于

1

”：

e

1

+

e

2

+

…

+

e

k

= 1

于是就得到了一个线性相关关系。正如我们在第

4

章中发现的那样，线性相关的特征有一

点讨厌，因为它们会使训练出的模型不唯一。特征的不同线性组合可以做出同样的预测 ...