Python机器学习手册：从数据预处理到深度学习

102

｜

第

6

章

处理文本

讨论

文本分词，尤其是将文本分为独立的单词是在清洗文本数据之后的常见任务，因为它是

将文本转换成能用于构建有效特征的数据的第一步。

6.5

　删除停止词（

stop word

）

问题描述

给定一组分好词的文本数据，删除其中非常常见但包含的信息又很少的单词（例如，

a

、

is

、

of

、

on

）。

解决方案

使用

NLTK

的

stopwords

：

#

加载库

from nltk.corpus import stopwords

#

如果是第一次使用停止词集，则需要先下载

# import nltk

# nltk.download('stopwords')

#

创建单词序列

tokenized_words = ['i',

'am',

'going',

'to',

'go',

'to',

'the',

'store',

'and',

'park']

#

加载停止词

stop_words = stopwords.words('english')

#

删除停止词

[word for word in tokenized_words if word not in stop_words]

['going', 'go', 'store', 'park']