直感 Deep Learning ―Python×Kerasでアイデアを形にするレシピ

6章リカレントニューラルネットワーク

「3章 畳み込みニューラルネットワーク」では、畳み込みニューラルネットワーク（convolutional neural network：CNN）について学び、入力の空間的特徴をいかに活用するかを確認しました。たとえば、CNNは音声やテキストデータに対しては、その時間軸に沿って、1次元で畳み込みとプーリングを適用します。また、画像に対しては（高さ×幅）に沿って2次元で適用し、動画に対しては（高さ×幅×時間）に沿って3次元で適用します。

本章では、入力間の依存性を利用するニューラルネットワークの一種であるリカレントニューラルネットワーク（recurrent neural network：RNN）について学びます。依存性のある入力としては、テキスト、音声、時系列データなどが考えられますが、系列内の要素の出現がその前に現れた要素に依存するものであれば何でもかまいません。たとえば、「the dog...」という文の次の単語は、「car」よりも「barks」である可能性が高いと考えられます。そのため、このような系列の場合、RNNは「car」より「barks」を予測する可能性が高くなります。

RNNはRNNセルのグラフと考えることができます。ここで各セルは系列内のすべての要素に対して同じ操作を実行します。RNNは非常に柔軟性があり、音声認識、言語モデリング、機械翻訳、評判分析、画像キャプションなどの問題を解決するために使用されてきました。RNNは、グラフ内でのセルの配置を変えることで、異なるタイプの問題に適応させることができます。これらの構成のいくつかの例と、ある問題を解決するためにそれらがどのように使用されるかを確認します。

また、単純なRNN（SimpleRNN）の課題と制限を解決するために提案された ...