ゼロから作るDeep Learning ❸ ―フレームワーク編

ステップ59RNNによる時系列データ処理

私たちがこれまで見てきたニューラルネットワークは、フィードフォワードと呼ばれる構造のネットワークです。フィードフォワードとは、信号が一方向に進むことを意味します。その特徴は、入力だけに依存して出力が決まることです。一方リカレント・ニューラル・ネットワーク（RNN）は、図59-1のようにループする構造を持ちます。

図59-1 RNNの構造

図59-1のようなループ構造によって、RNNの出力は自分自身へとフィードバックされます。それにより、RNNは「状態」を持つことができます。つまり、RNNへデータが入力されると「状態」が更新され、その「状態」に応じて出力が決まります。

本ステップのテーマはRNNです。RNNはフィードフォワードのネットワークと比較すると、計算が複雑になります。しかし私たちのDeZeroであれば、その複雑な計算でもシンプルに実装できます。ここでは、RNNの実装を示しながら、RNNの原理を説明していきます。

59.1　RNNレイヤの実装

まずはRNNについて数式を使って説明します。ここでは、時系列データとして入力があり、隠れ状態のを出力するRNNを考えます。ここでとは時系列データの時刻（もしくは番目）を意味します。また、RNNの状態は「隠れ状態 ...