第5章 序列到序列模型——你讲法语吗

到目前为止,我们的大部分工作是关于图像的。图像处理在表现机器学习的快速性和简洁性方面有很重要的作用。然而,机器学习领域的应用范围远不止于此,接下来的几章将会涵盖机器学习在其他方面的应用。我们将从序列到序列模型开始。尽管它的设置有些复杂,而且训练数据集要大得多,但是其结果同样令人惊讶。

在本章中,我们将重点关注以下几个方面。

  • 理解序列到序列模型(sequence-to-sequence model)是如何工作的。
  • 理解序列到序列模型所需要的设置。
  • 使用序列到序列模型创建一个将英语翻译成法语的翻译器。

我们将会编写一个将英语翻译成法语的翻译器。之前的机器学习方法可能会通过一系列的解析器和规则来解决该问题,规则限定了如何将词汇与短语翻译成其他语言,但现在我们的方法将更加优雅、通用和快速。我们将使用很多示例来训练我们的翻译器。

我们要做的是建立一个包含足够多的将英语句子翻译成法语句子(实际上,针对任何语言都能工作)的数据集。翻译过的文章和新闻报道没有什么作用,因为我们不一定能够把特定的文本逐行地从一种语言转换成另一种语言。所以,我们需要更有创造性的方法。例如,联合国组织经常需要逐行翻译以满足不同选区的需要。这为我们提供了便利。

在2010年召开的统计机器翻译研讨会(Workshop on Statistical Machine Translation)发布了一个可用的封装训练集。

我们将使用法语对应的特定文件,文件可在异步社区下载。

以下是源数据的一段英文摘要。

  • Food, where European inflation slipped up
  • The skyward zoom in food prices is the dominant ...

Get TensorFlow机器学习 now with the O’Reilly learning platform.

O’Reilly members experience books, live events, courses curated by job role, and more from O’Reilly and nearly 200 top publishers.