ゼロから作るDeep Learning ❷ ―自然言語処理編

8章Attention

注意こそはすべて

——バズワニらの論文タイトル[52]

前章では、RNNを使った文章生成を行いました。そして、2つのRNNを連結することで、時系列データを別の時系列データに変換させることができました。私たちはそれをseq2seqと呼び、足し算のような簡単な問題を解かせることに成功しました。またいくつかの改良をseq2seqに施し、簡単な足し算であれば、ほとんど完璧に解けることを確認しました。

本章では、seq2seqの可能性——そしてRNNの可能性——をさらに探索していきます。そしてここに、Attentionという強力で美しい技術が登場します。このAttentionという技術は、近年のディープラーニングの分野において、間違いなく重要なテクニックのひとつです。私たちが本章で目指すことはAttentionの仕組みをコードレベルで理解することです。そして、実際の問題に適用し、その素晴らしい効果を体験したいと思います。それでは最終章へと進みましょう！

8.1　Attentionの仕組み

前章で見てきたように、seq2seqは非常に強力な枠組みであり、それにはさまざまな応用が考えられます。ここでは、これまで見てきたseq2seqをさらに強力にする注意機構（attention mechanism）というアイデアを紹介します（以降、Attentionと略記）。このAttentionというメカニズムによって、seq2seqは私たち人間と同じように、必要な情報だけに「注意」を向けさせることができます。さらに、このAttentionを利用することで、これまでのseq2seqが抱えていた問題を解決することができるのです。

本節では手始めに、現在のseq2seqが抱える問題を指摘します。その後にAttentionの仕組みを説明しながら、並行してその実装を行いたいと思います。それではもう一度、seq2seqが行う処理に目を向けることにしましょう。 ...