基于scikit-learn和PyTorch的实践机器学习

第 19 章 强化学习 强化学习

本作品已使用人工智能进行翻译。欢迎您提供反馈和意见：[e-mail]

强化学习（RL） ，是当今机器学习领域最激动人心的领域之一，也是历史最悠久的领域之一。它从 20 世纪 50 年代开始出现，多年来产生了许多有趣的应用。¹特别是在游戏（例如TD-Gammon，一种跳棋程序）和机器控制方面，但很少成为头条新闻。然而，2013 年发生了一场革命，一家名为 DeepMind的英国初创公司的研究人员²的英国初创公司 DeepMind 的研究人员展示了一种系统，它可以从头开始学习玩几乎任何雅达利游戏。³最终超越人类⁴在大多数游戏中，该系统只使用原始像素作为输入，而且事先完全不了解游戏规则。⁵ 这是一系列惊人成就中的第一项：

• 2016 年，DeepMind 的 AlphaGo 击败了围棋传奇职业棋手李世石；2017 年，它又击败了世界冠军柯洁。从来没有程序能接近击败围棋高手，更不用说顶尖高手了。

• 2020 年，DeepMind 发布了 AlphaFold ，它能以前所未有的精度预测蛋白质的三维形状。这将改变生物学、化学和医学领域的游戏规则。事实上，Demis Hassabis（创始人兼首席执行官）和 John Jumper（总监）因 AlphaFold 获得了诺贝尔化学奖。

• 2022 年，DeepMind 发布了 AlphaCode ，它可以生成具有竞争力编程水平的代码。

• 2023 年，DeepMind 发布了 GNoME ，它可以预测新的晶体结构，包括数十万种预测的稳定材料。

那么，DeepMind 的研究人员是如何做到这一切的呢？嗯，他们将深度学习的力量应用到了强化学习领域，其效果超出了他们的想象：深度强化学习 诞生了。如今，尽管 DeepMind 仍在继续领跑，但许多其他组织也加入了进来，整个领域沸腾着新的想法，并有着广泛的应用。

在本章中，我将首先解释什么是强化学习，它擅长什么，然后介绍深度强化学习中最重要的三个技术系列：策略梯度、深度 Q 网络（包括对马尔科夫决策过程的讨论），最后是演员批判方法，包括流行的 PPO，我们将用它来打败一款雅达利游戏。那么，让我们开始吧！

什么是强化学习？

在 强化学习中，软件代理 在环境中进行观察并采取 行动， ，并从环境中获得回报。它的目标是学会以一种能随着时间的推移使其预期回报最大化的方式行事 。如果你不介意有点拟人化，你可以把正奖赏看作快乐，把负奖赏看作痛苦（"奖赏 "一词在这里有点误导）。简而言之，代理在环境中行动，并通过试错学会最大化快乐和最小化痛苦。

这是一个相当宽泛的设定，可以适用于各种各样的任务。下面是几个例子（见图 19-1）：

• 代理可以是控制机器人的程序。在这种情况下，环境就是现实世界，代理通过一系列传感器（ ，如摄像头和触摸传感器）观察环境，其行动包括发送信号激活电机。根据程序设定，每当它接近目标目的地时，就会获得正奖励；每当它浪费时间或走错方向时，就会获得负奖励。

• 代理可以是控制吃豆人女士的程序。在这种情况下，环境是雅达利游戏的模拟，操作是九个可能的操纵杆位置（左上角、向下、中间等），观察是屏幕截图，奖励只是游戏积分。

• 同样，代理可以是玩围棋等棋盘游戏的程序。它只有赢了才能获得奖励。

• 代理不一定要控制一个物理上（或虚拟上）移动的物体。例如，它可以是一个智能恒温器，只要接近目标温度并节约能源，就能获得正奖励；而当人类需要调整温度时，它就会获得负奖励，因此代理必须学会预测人类的需求。 ...