動かして学ぶAI・機械学習の基礎 ―TensorFlowによるコンピュータビジョン、自然言語処理、時系列データの予測とデプロイ

8章TensorFlowによるテキストの生成

You know nothing, Jon Snow

何も知らない、ジョン・スノー

the place where he’s stationed

彼が派遣された場所

be it Cork or in the blue bird's son

それがコーラであろうと、青い鳥の雛であろうと

sailed out to summer

夏に向けて漕ぎ出したら

old sweet long and gladness rings

古くて甘い、そして長い喜びの指輪

so i'll wait for the wild colleen dying

だから、私は野人の少女が死ぬのを待つ

このテキストは、小さなコーパスで学習した非常に簡単なモデルによって生成されたものです。改行や句読点を追加して少し改良しましたが、1行目以外はこの章で学ぶモデルによって生成されたものです。ジョン・スノーが登場する番組†1を見たことがある人なら、その理由がわかると思いますが、『野人の少女の死』の一節が生成されている点は優秀です。

[†1] 訳注：ジョン・スノー（Jon Show）は、米HBOで放送されたゲーム・オブ・スローンズの登場人物。野人の少女イグリット（Ygritte）と恋仲になるも、彼女はジョンの腕の中で息をひき取る。「何も知らない、ジョン・スノー（You know nothing, Jon Snow）」は彼女の口癖で最後の言葉。

これまでの章では、TensorFlowを使ってテキストを処理する方法を見てきました。まず、テキストをニューラルネットワークで処理可能な数値やシーケンスにトークン化し、次に埋め込みを使用してベクトルから感情をシミュレートし、最後にディープニューラルネットワークと回帰型ニューラルネットワークを使用してテキストを分類しました。これらの仕組みを説明するために、小さくて単純なSarcasmデータセットを使用しました。本章では、既存のテキストを分類するのではなく、テキストを ...