実践 Deep Learning ―PythonとTensorFlowで学ぶ次世代の機械学習アルゴリズム

7章シーケンス分析のモデル

Surya Bhupatiraju

7.1　可変長の入力に対する分析

ここまでの章では、MNISTやCIFAR-10そしてImageNetの画像に代表されるような固定サイズのデータを主に扱ってきました。これらのモデルはとても強力ですが、固定長では不十分だというケースも少なくありません。日常生活の中で発生する行動のほとんどでは、シーケンスつまり一連の物事を深く理解しなければなりません。朝刊を読んでいても、1皿分のシリアルを用意していても、ラジオを聴いていても、プレゼンテーションを見ていても、株売買の判断を下す時にも、シーケンスの理解が求められます。可変長の入力に対応するには、ディープラーニングのモデルを設計する際にもう少し賢いアプローチが必要です。

図7-1は、フィードフォワードニューラルネットワークがシーケンスの分析に失敗する様子を表しています。シーケンスが入力層と同じサイズなら、モデルは期待どおりにふるまいます。より小さな入力に対しては、末尾をゼロでパディングすることも可能です。しかし層のサイズを超える入力に対しては、単純なフィードフォワードネットワークは役に立ちません。

図7-1　入力が固定長の課題にのみ、フィードフォワードネットワークはうまく機能する。入力が小さい場合には、ゼロパディングによる対応も可能。しかし固定長を超える場合、モデルはそのままでは機能しない

しかし、あきらめる必要はありません。これから、フィードフォワードネットワークでシーケンスを扱えるようにするための「ハック」をいくつか紹介します。続いて、これらのハックの欠点について考察し、その欠点を克服する新しいアーキテクチャーを明らかにします。最後に、最先端の研究を紹介します。シーケンスに対して人間と同等の論理的推論や認知を行うための難題のいくつかについて、解決が試みられています。 ...