自然语言处理与计算语言学

第13章　使用深度学习处理文本

到目前为止，我们已经探索了机器学习在各种环境中的应用—— 主题建模、聚类、分类、文本摘要，甚至POS标记和NER标记都是使用机器学习进行训练的。本章我们将开始探索一种前沿的机器学习技术：深度学习。深度学习受生物学启发来构建算法结构，完成文本学习任务，比如文本生成、分类以及词嵌入。本章将讨论深度学习的基础知识，以及如何实现文本深度学习模型。本章介绍的主题如下：

• 深度学习；
• 深度学习在文本上的应用；
• 文本生成技术。

13.1　深度学习

前面几章介绍了机器学习技术，包括主题模型、聚类和分类算法，以及我们所说的浅层学习——词嵌入。词嵌入算是读者在本书接触到的第一个神经网络模型，它们可以学习语义信息。

神经网络可以理解为是一种计算系统或者机器学习算法，其结构受到大脑中生物神经元的启发。我们只能这样笼统地介绍神经网络，因为当前的科技对人类大脑缺乏透彻的理解。神经网络借鉴了大脑的神经连接和结构，例如感知器和单层神经网络。

一个标准的神经网络包含一些神经元节点作为运算单元，且它们之间通过连接相互作用。模型在某种意义上类似于大脑的结构，节点代表神经元，连线代表神经元之间的连接。不同层的神经元执行不同类型的操作，图13.1所示的网络中包含一个输入层、多个隐藏层和一个输出层。

图13.1　神经网络结构示例

反之，神经网络的研究也促进了认知科学的发展，神经网络可以帮助理解人类的大脑。之前提到的分类、聚类、创建词和文档的向量等任务都可以通过利用神经网络实现的机器学习算法来完成。 ...