動かして学ぶAI・機械学習の基礎 ―TensorFlowによるコンピュータビジョン、自然言語処理、時系列データの予測とデプロイ

7章自然言語処理のための回帰型ニューラルネットワーク

「5章　自然言語処理入門」では、テキストをトークン化してシーケンスにする方法と、文章を数値のテンソルにして、ニューラルネットワークに入力する方法を紹介しました。続いて「6章　埋め込みによる感情のプログラム化」ではそれを拡張して、埋め込みについて学びました。埋め込みとは、似たような意味を持つ単語をクラスタ化して感情を計算する方法です。これは、作成した皮肉検出器からもわかるように、とてもうまく働きました。しかし、この手法にも限界があります。つまり、文は単なる単語の集合ではなく、多くの場合、単語が現れる順序が全体の意味を決定します。形容詞は、それが隣接する名詞に意味を追加したり、変更できます。例えば、「青い（blue）」という単語は、「空（sky）」と同様に感情の観点では意味がないかもしれませんが、それらを組み合わせて「青空（blue sky）」とすると、そこには明確な感情が生じ、通常は肯定的な意味になります。また、「雨雲（rain cloud）」、「書斎机（writing desk）」、「コーヒーマグ（coffee mug）」のように、ある名詞が他の名詞を修飾する場合もあります。

このような順序性を考慮するためには追加のアプローチ、つまりモデルアーキテクチャに回帰（recurrence）を加える必要があります。この章では、そのためのさまざまな方法を学びます。この章では、シーケンスをどのように学習し、この情報をどのように利用してテキストを理解するのに適したモデルである回帰型ニューラルネットワーク（RNN：Recurrent Neural Network）を作成するかを調べます。

7.1　回帰の基礎

回帰がどのように機能するかを理解するために、これまでに使用したモデルの限界について考えてみましょう。究極的には、モデルの作成は、 ...