Python文本分析

特征工程与句法相似性

｜

151

输出结果：

<6x20 sparse matrix of type '<class 'numpy.int64'>'

with 38 stored elements in Compressed Sparse Row format>

稀疏矩阵的效率非常高。它没有保存

6

×

20 = 120

个元素，而是只保存了

38

个！这

是因为稀疏矩阵忽略了所有零元素。

我们来试试看还原前面的文档词条矩阵。为此，我们必须将稀疏矩阵转换成一个（密

集的）数组。为了方便阅读，我们将其转换成

Pandas

的数据框：

pd.DataFrame(dt.toarray(), columns=cv.get_feature_names())

输出结果：

这个文档词条矩阵看上去与

one-hot

向量化器给出的非常相似。然而请注意，这

些列是按照字母顺序排列的，而且第

5

行出现了几个

2

。这个结果来自文档

"John

likes to watch movies. Mary likes movies too."

，其中有许多重复的单词。

5.4.2

案例：计算相似性

现在，找出文档之间的相似性很困难，因为统计文档中同一位置上均为

1

的元素个数还不够。在一般情况下，每个单词出现的次数可能会非常多，

我们必须考虑到这一点。在这种情况下，我们不能使用点积，因为点积对向量的长

度（文档中的单词数量）也很敏感。另外，在高纬度的向量空间中，欧几里德距离

（

Euclidean distance

）也发挥不了太大作用。这就是为什么在绝大多数情况下，我 ...