Scikit-LearnとPyTorchによる実践的マシン学習

第19章 強化学習 強化学習

この作品はAIを使って翻訳されている。ご意見、ご感想をお待ちしている：[e-mail]

強化学習（RL） 、今日のマシン学習で最もエキサイティングな分野の1つであり、また最も古い分野の1つでもある。それは1950年代から存在し、長年にわたって多くの興味深いアプリケーションを生み出してきた。¹特にゲーム（例：バックギャモンのプログラミングであるTD-ギャモン）やマシン制御において、長年にわたって多くの興味深いアプリケーションを生み出してきたが、トップニュースになることはほとんどなかった。しかし2013年、ディープマインド（DeepMind）というイギリスのスタートアップ企業の研究者たちが、プレイを学習できるシステムを実証した。²ディープマインドと呼ばれるイギリスの新興企業の研究者たちが、あらゆるアタリゲームのプレイをゼロから学習できるシステムを実証したのだ。³最終的には人間を凌駕した⁴このシステムは、未加工のピクセルのみを入力として使用し、ゲームの規則に関する予備知識なしに、最終的にはほとんどのゲームで人間を凌駕した。⁵ これは一連の驚くべき偉業の最初のものだった：

• 2016年、ディープマインドのアルファ碁 、囲碁の伝説的なプロ棋士リー・セドルを破り、2017年には世界チャンピオンの柯潔を破った。最強の棋士はおろか、囲碁の達人にも勝てるプログラミングはなかったのだ。

• 2020年、ディープマインドは前例のない精度でタンパク質の3D形状を予測できるAlphaFold をリリースした。これは生物学、化学、医学におけるゲームチェンジャーである。実際、デミス・ハサビス（創設者兼CEO）とジョン・ジャンパー（ディレクター）はAlphaFoldでノーベル化学賞を受賞した。

• 2022年、ディープマインドはAlphaCode をリリースし、競争力のあるプログラミング・レベルのコードを生成できるようになった。

• 2023年、DeepMindはGNoME をリリースした。GNoMEは新しい結晶構造を予測することができ、予測された何十万もの安定した物質を含む。

では、ディープマインドの研究者たちはどのようにしてこれを達成したのだろうか？ ディープラーニングのパワーを強化学習の分野に応用し、彼らの想像を超える成果を上げたのだ。今日、DeepMindはこの道をリードし続けているが、他の多くの組織もこれに加わり、この分野全体が新しいアイデアで沸騰し、幅広いアプリケーションが登場している。

この章では、まず強化学習とは何か、強化学習は何が得意なのかを説明し、次にディープ強化学習における最も重要な3つのテクニック・ファミリーを紹介する：ポリシー勾配、ディープQネットワーク（マルコフ決定過程の議論を含む）、そして最後に、人気のPPOを含むアクター・クリティック・メソッドである。それでは始めよう！

強化学習とは何か？

強化学習では、ソフトウェア・エージェント が環境内で を観察し行動を起こし、 その見返りとして環境から報酬を受け取る。 エージェントの目的は、期待される報酬を最大化するような行動を学習することである。少し擬人化しても構わなければ、正の報酬は快楽、負の報酬は苦痛と考えることができる（この場合、「報酬」という言葉は少し誤解を招く）。要するに、エージェントは環境の中で行動し、喜びを最大に、痛みを最小にするように試行錯誤しながら学習する。

これは非常に幅広い設定で、様々なタスクに適用できる。以下にいくつかの例を示す（ ...