TensorFlow深度学习项目实战

第6章　构建和训练机器翻译模型

在本章中，我们将训练一个人工智能（Artificial Intelligence，AI）模型，用于实现两种语言之间的翻译。具体来说，我们将训练一个机器翻译模型，用于将德语句子翻译成英语句子。同时，本章所构建的模型适用于任意两种语言的互译。

本章主要包括以下内容：

• 机器翻译系统架构；
• 语料库预处理；
• 训练机器翻译模型；
• 测试及翻译。

6.1　机器翻译系统架构

机器翻译系统可以接收一种语言的任意句子作为输入，并将其翻译（输出）成以另一种语言表示的具有相同含义的句子，例如谷歌翻译就是一个翻译模型（其他IT公司也开发了自己的机器翻译系统）。在翻译网页上，用户可以在100多种语言间进行选择并翻译。这些网页的使用方法也非常简单：如图6-1所示，在左边的输入框中输入需要翻译的句子（例如，Hello world），然后选择输入句子的语言（本例中，我们选择英语），最后选择要翻译成的语言即可。

图6-1所示的是一个把“Hello world”这个英语句子翻译成法语句子的例子。

图6-1

是不是很简单呢？乍一看，你可能认为这是一个简单的字典替换。单词被分块后在特定的英法词典上查找，然后用每个词的译文来代替。事实并非如此。在这个例子中，英语句子有两个单词，而法语句子有3个单词。更进一步，对于一些动词短语（例如turn up、turn off、turn on、turn down等）、所有格、语法性、时态、条件句等，它们并不总是能直接被翻译——正确的翻译往往需要考虑句子的上下文。 ...