Python机器学习手册：从数据预处理到深度学习

6.9

　按单词的重要性加权

｜

109

vocabulary=['brazil'])

bag = count_2gram.fit_transform(text_data)

#

查看特征矩阵

bag.toarray()

array([[2],

[0],

[0]])

#

查看一元模型和二元模型

count_2gram.vocabulary_

{'brazil': 0}

延伸阅读

y

n

-gram

（

https://en.wikipedia.org/wiki/N-gram

）

y

Bag of Words Meets Bags of Popcorn

1

（

http://bit.ly/2HRba5v

）

6.9

　按单词的重要性加权

问题描述

对词袋模型中的词按照其在观察值中的重要程度进行加权。

解决方案

使用

TF-IDF

（

term frequency-inverse document frequency

）将一个词在某个文档（推文、

影评、演讲稿等）中的出现次数和这个词在所有文档中的出现次数进行对比。用

scikit-

learn

的

TdfVectorizer

能很方便地做这个对比 ：

#

加载库

import numpy as np

from sklearn.feature_extraction.text import TfidfVectorizer

#

创建文本

text_data = np.array(['I love Brazil. Brazil!',

'Sweden is best',