実践 Deep Learning ―PythonとTensorFlowで学ぶ次世代の機械学習アルゴリズム

9章深層強化学習

Nicholas Locascio †1

[†1] http://nicklocascio.com/

この章では、強化学習という種類の機械学習について議論します。ここでは、インタラクションとフィードバックを通じて学習が進みます。外界を知覚し解釈するだけでなく、対話的に行動を起こしてゆくようなエージェントを作成するためには、強化学習が非常に重要です。深層ニューラルネットワークを強化学習に組み込む方法や、最近の話題や進歩について紹介します。

9.1　Atariのゲームを習得した深層強化学習

深層ニューラルネットワークを強化学習に適用するという考え方は、2014年に大きな進歩を遂げました。ロンドンのDeepMindというスタートアップ企業が発表した深層ニューラルネットワークが、世界を驚かせました。彼らが学習させたネットワークは、Atariのゲームを超人的な技でプレイしたのです。深層Qネットワーク（DQN、Deep Q-Network）と呼ばれたこのネットワークは、強化学習と深層ニューラルネットワークの組み合わせによる初の大規模な成功例でした。驚くべきことに、DQNはアーキテクチャーをまったく変更することなく49種類ものゲームを学習できました（図9-1）。もちろん、ゲームのルールや目標そしてプレイの構造はすべて異なります。このような学習を実現するために、DeepMindは強化学習でのさまざまな古典的手法を組み合わせただけでなく、DQNの成功にとって鍵となる新しいテクニックも生み出しました。後ほど、Nature誌に掲載された論文Human-level control through deep reinforcement learning†2に沿ってDQNを実装します。まずは、強化学習とは何なのか考えてみることにしましょう。 ...