精通特征工程

56

｜

第

4

章

4.2.2

　使用

tf-idf

变换来缩放词袋

这个练习的目的是比较一下词袋、

tf-idf

和

ℓ

2

归一化在线性分类问题中的效果。请注意，

做完

tf-idf

后再进行

ℓ

2

归一化等同于只做

ℓ

2

归一化。所以，我们只需要测试三组特征：词

袋、

tf-idf

，以及词袋基础上的

ℓ

2

归一化。

在例

4-3

中，我们使用

scikit-learn

中的

CountVectorizer

将点评文本转换为词袋。所有文

本特征化方法都依赖于一个分词器，它是一个能将文本字符串转换为标记（单词）列表的

程序模块。在这个例子中，

scikit-learn

使用默认的分词模式，搜索由

2

个或

2

个以上的字

母和数字组成的序列，标点符号被当作标记分隔符。

例

4-3

　

转换特征

# 用词袋表示点评文本

>>> bow_transform = text.CountVectorizer()

>>> X_tr_bow = bow_transform.fit_transform(training_data['text'])

>>> X_te_bow = bow_transform.transform(test_data['text'])

>>> len(bow_transform.vocabulary_)

46924

>>> y_tr = training_data['target']

>>> y_te = test_data['target']

# 使用词袋矩阵创建tf-idf表示

>>> tfidf_trfm = text.TfidfTransformer(norm=None) ...