ゼロから作るDeep Learning ❹ ―強化学習編

1章バンディット問題

私たち人間は、教師やコーチから教わらなくとも学ぶことができます。たとえば、幼児は物体を掴んだり、歩いたり、走ったりといった動作を試行錯誤しながら自然と身につけます（もちろん親はいくらかのサポートはしますが）。強化学習では、教師を必要とせずに、環境とのやりとりの中からより良い解決方法を自発的に学びます。そのような能力は、人間——そして生物——が備え持つ重要な資質です。強化学習という分野を学ぶことは、より汎用性のある知性について学ぶことにもつながります。

これから私たちは強化学習について学びます。本章では最初に、機械学習における強化学習の位置づけを見ていきます。そして強化学習の特徴について簡単に説明した後、すぐに具体的な問題に取り組みます。本章で取り組むのは、強化学習において最も基本となる「バンディット問題」です。この問題を解くことで、強化学習の難しさや面白さに気づくことでしょう。

1.1　機械学習の分類と強化学習

機械学習とは、その名が示すとおり、機械にデータを与えて学習させる手法です。機械つまりコンピュータにデータを与えて、コンピュータ自身に何らかのルールやパターンを見つけさせます。人がプログラムとして「ルール」を書くのではなく、コンピュータ自らがデータに基づき「ルール」を学習します。

機械学習で使われる手法は、問題の構造によって分けることができます。代表的な区分は「教師あり学習」「教師なし学習」「強化学習」です。ここでは、それら3つの枠組みについてそれぞれ簡単に説明します。まずは「教師あり学習」から始めます。

1.1.1　教師あり学習

機械学習で最もオーソドックスな手法は、教師あり学習（Supervised Learning）です。教師あり学習では、入力と出力のペアデータが与えられます。たとえば、手書き数字を認識する問題の場合、「手書き数字の画像」と「正解ラベル」 ...