Python文本分析

准备统计和机器学习的文本数据

｜

137

4.7.3

持久地保存结果

最后，我们将完整的数据框保存到

SQLite

。为此，我们需要将提取的列表转化为以

空格分隔的字符串，因为大多数数据库不支持列表：

df[nlp_columns] = df[nlp_columns].applymap(lambda items: ' '.join(items))

con = sqlite3.connect(db_name)

df.to_sql("posts_nlp", con, index=False, if_exists="replace")

con.close()

上述生成的表格为进一步分析提供了坚实且随时可用的基础。实际上，我们将在第

10

章中再次使用该数据，在提取出的词元上训练单词嵌入。当然，预处理的具体步

骤取决于需要处理的数据。我们的解决方案生成的单词集合非常适合基于词频的统

计分析以及基于词袋向量化的机器学习。如果算法需要了解单词序列，则需要调整

相应的步骤。

4.7.4

有关执行时间的注意事项

完整的语言处理非常耗时。实际上，使用

spaCy

处理

1

万个

Reddit

帖子需要花费几

分钟的时间。相比之下，简单的正则表达式分词器只需要几秒钟即可在同一台机器

上完成所有记录的分词。尽管与其他库相比，

spaCy

确实非常快，但是，标注词性、

解析和识别命名实体等步骤的开销非常大。因此，如果你不需要命名实体的话，一

定要禁用解析器和命名实体识别，这样可以节省

60%

以上的运行时间。

使用

nlp.pipe

批量处理数据，以及使用

GPU

是加快 ...