Python计算机视觉和自然语言处理

第4章　NLP神经网络

学习目标

阅读完本章之后，你将能够：

• 解释循环神经网络的概念；
• 设计并构建一个循环神经网络；
• 评估非数值数据；
• 评估各种最先进的RNN语言模型；
• 基于时序数据进行数值预测。

本章介绍RNN的各个方面，对各种RNN模型进行解释、设计和构建。

4.1　简介

如前一章所述，自然语言处理（NLP）是人工智能（AI）的一个领域，旨在让计算机理解和使用人类语言，从而执行有用的任务。如今，随着深度学习技术的进步，深度NLP成为一个新的研究领域。

那么，什么是深度NLP呢？深度NLP就是NLP技术与深度学习的结合。这两种技术的结合在以下领域中取得了较大的进展。

• 语言学：语音转文本。
• 工具：词性标注、实体识别、句法分析。
• 应用：情感分析、问答系统、对话代理、机器翻译。

深度NLP中最重要的方法之一就是词语和句子的表示。词语可以表示为多维空间中的一个向量，且该平面同时包含很多其他词语的向量。根据两个词语之间相似度的不同，它们在平面上的距离也会有相应的大小。

图4.1所示为词嵌入的一个例子。词嵌入（word embedding）是一组将语料库中的词语和句子映射为向量或实数的技术和方法，可以根据每个词语出现的上下文来生成词语的表示，从而计算词语之间的相似度。例如，与“dog”一词最接近的词语如下：

• Dogs；
• Cat；
• Cow；
• Rat；
• Bird。

图4.1　词嵌入的一个例子

使用诸如Word2Vec之类的方法可以生成词嵌入，本书会在第7章中介绍Word2Vec。