実践 Deep Learning ―PythonとTensorFlowで学ぶ次世代の機械学習アルゴリズム

8章メモリ強化ニューラルネットワーク

Mostafa Samir †1

[†1] https://mostafa-samir.github.io/

ここまでに、RNNが機械翻訳などの複雑な課題を効率的に解決できることを学んできました。しかし実際には、我々はまだRNNのポテンシャルを十分には活用できていません。「7章　シーケンス分析のモデル」で、RNNが理論上は任意の関数を表現できるということに触れました。このことをより正確に言うなら、RNNはチューリング完全です。つまり、適切な接続とパラメーターを与えれば、RNNは計算可能なすべての問題（基本的には、コンピューターアルゴリズムを使って解決できるすべての問題）を学習によって解くことができます。言い換えれば、チューリングマシンです。

8.1　ニューラルチューリングマシン

このような普遍性を達成することは理論上は可能ですが、実際にはきわめて困難です。RNNの接続やパラメーターを決定するための探索空間が膨大で、勾配降下法を使って適切な解を発見するのが難しいからです。しかし、この章で紹介する最先端のアプローチを使えば、RNNのポテンシャルの一端に触れることができるようになります。

例として、以下のシンプルな読解問題について考えてみましょう。

Mary travelled to the hallway. She grabbed the milk glass there.
Then she travelled to the office, where she found an apple and grabbed it.
メアリーは廊下に向かいました。彼女はそこで牛乳の入ったグラスを手に取りました。
そして彼女はオフィスに向かい、リンゴを見つけて手に取りました。 ...