ゼロから作るDeep Learning ❹ ―強化学習編

おわりに

フォースと共にあらんことを―― 映画『スター・ウォーズ』より

2016年に「ゼロから作るDeep Learning」の最初のシリーズを書き終わったとき、次に書く本は（もし書くチャンスがあればという話ですが）「強化学習」をテーマにしたいと考えていました。当時は、テレビゲームをプレイするDQNや囲碁で世界チャンピオンを破ったAlphaGoなどが注目を集めており、僕もそれらの技術（深層強化学習）に魅せられていました。僕が強化学習について本腰を入れて取り組んだのはそのときが初めてでしたが、すぐに大きな可能性を感じました。その理由は、環境との「やりとり」の中で試行錯誤しながら学ぶという強化学習の枠組みに、より汎用性のある技術だと感じたからです。

強化学習について本格的に勉強を開始してしばらくすると、本を書くレベルに達するにはまだ時間がかかると実感しました。そしてあれこれ考えているうちに、次の本は前作の内容をさらに進めて、時系列データを扱えるようにする方向で進めることにしました。具体的には、RNNやLSTM、そして当時注目され始めたAttentionを理解することを目標にしてシリーズ2作目（❷）を書こうと決めました。余談ですが❷は当初、自然言語処理をテーマとはしていませんでした。❷の執筆が中盤に差し掛かったある日、自然言語処理をテーマにすると本全体として良いストーリーができ、重要な技術を一貫して学べることを思いつきました。その日の夜、編集者の宮川さんに「次はディープラーニングの自然言語処理編で行きたい」と興奮してメールを送ったのを今でも覚えています。

❷の執筆も無事終わり、2018年を過ぎたころ、次こそは「強化学習」で行こうと準備を進めていました。しかし人生は予定どおり進まないものです。ひょんなことから（Chainer開発者の得居さんやPreferred ...