Python文本分析

160

｜

第

5

章

tfidf = TfidfVectorizer(stop_words=stopwords)

dt = tfidf.fit_transform(headlines["lemmas"].map(str))

dt

输出结果：

<1103663x71921 sparse matrix of type '<class 'numpy.float64'>'

with 5053610 stored elements in Compressed Sparse Row format>

维度降了很多，减少了将近

25000

个。对于新闻标题，还原词形可能并不会丢失任

何信息。但在其他情况下，比如第

11

章的例子中，情况就完全不同了。

特征、维度和准确率

/

召回率

词形还原可以大幅降低词汇量。对于新闻标题而言，时态等并不重要。但是，

在读小说的时候，时态却非常关键。你应该根据实际的情况，认真思考哪种文

本转换或自然语言处理转换更适用。

通过

min_df

和

max_df

降低特征维度的做法也是一把双刃剑。删除频率不高的

特征对语料库有好处，但是如果添加其他文档，就会造成特征太少。

在后续章节中，我们将介绍准确率和召回率，二者是信息获取质量的度量基准。

此外，我们还会通过观察这些指标的影响，来量化降低维度（使用 NLP 和向

量化调整）以及增加维度（比如使用二元语法）的效果。

5.5.6

案例：限定单词类型

我们可以使用前面生成的数据来限定向量化，只考虑名词、形容词和动词，

而介词、动词的变形等包含的信息量都不太。这种操作也可以减少词汇量 ...