ゼロから作るDeep Learning ❷ ―自然言語処理編

7章RNNによる文章生成

完璧な文章などといったものは存在しない。

完璧な絶望が存在しないようにね。

——村上春樹『風の歌を聴け』

5章と6章では、RNNとLSTMについて、その仕組みや実装について詳しく見てきました。いまや私たちは、それらを実装レベルで理解しています。本章では、これまでの成果——RNNやLSTM——が花開きます。ここでは、LSTMを利用して楽しいアプリケーションをいくつか実装します。

本章ではまず初めに、言語モデルを使って「文章生成」を行います。具体的には、コーパスを使って学習した言語モデルを用いて、新しい文章を作成します。さらに、改良した言語モデルを用いることで、より自然な文章が生成できることを見ていきます。ここでの作業を通じて、「AIに文章を書かせる」ということを（簡単にでも）実感できるでしょう。

また、本章ではseq2seqという新しい構造のニューラルネットワークを扱います。seq2seqとは「(from) sequence to sequence（時系列から時系列へ）」を意味する言葉で、ある時系列データを別の時系列データへと変換するものです。本章では、2つのRNNを組み合わせることで、いとも簡単にseq2seqが実装できることを見ていきます。このseq2seqは、機械翻訳やチャットボット、メールの自動返信など、さまざまなアプリケーションで利用することができます。このシンプルでありながら賢くパワフルなseq2seqを理解することで、ディープラーニングの可能性はさらに広がるはずです！

7.1　言語モデルを使った文章生成

これまで数章にわたって言語モデルを扱ってきました。前にも述べたとおり、言語モデルはさまざまなアプリケーションで利用できます。代表例としては機械翻訳や音声認識、そして文章生成などが挙げられます。ここでは、言語モデルに文章生成を行わせます。 ...