Python深度学习从原理到应用

第7章　深度学习在棋盘游戏中的应用

读者可能阅读过20世纪50～60年代的科幻小说，里面满是对21世纪生活的憧憬：一个人人带有喷气背囊的世界、水下城市、星际旅行、空中飞车，以及能够独立思考的真正智能机器人。21世纪已经到来，我们并没有空中飞车，但幸亏有深度学习，让我们可以拥有机器人。

这与深度学习在棋牌游戏中的应用有什么关系呢？接下来的两章中（包括本章）将研究如何构建能够学习游戏的人工智能（AI）。现实拥有无限大的可能空间。即使简单的人类任务（如让机器人捡起物品），也需要分析大量的感官数据，并控制关于手臂运动的许多连续的反应变量。

游戏可被用来测试通用学习算法。游戏会提供给我们一个可能可控的大环境。此外，当谈及计算机游戏时，大家都知道人类能够通过屏幕上可见像素和最细微指令来学习如何玩游戏。如果将相同像素（外加一个目标）输入一个计算机主体（agent）中，我们知道在给定正确算法的情况下会解决一个问题。事实上，对于计算机，这个问题会更加容易，因为人类发现在其视野中所看到的事物实际上就是游戏像素，对应着屏幕内的区域。这就是为什么许多研究人员都将游戏看作一个开始开发真正AI（不需要人类帮助就能自行运行的自学习机器）的好场所。此外，如果读者喜欢游戏，会发现这很有趣。

本章将介绍用于解决棋盘游戏问题（如跳棋和国际象棋）的不同工具，以帮助读者积累足够知识，进而能够理解和执行可用于构建AlphaGo（打败人类围棋大师的AI）的深度学习解决方案——本章将用各种深度学习算法来实现这一点。第8章将基于本章的知识介绍如何利用深度学习去学习玩计算机游戏，例如Pong和Breakout。

本章主要介绍以下概念：最小-最大（min-max）算法、蒙特卡罗树搜索（Monte Carlo Tree Search，MCTS）、强化学习、策略梯度。第8章主要介绍以下概念：Q-learning、actor-critic算法以及基于模型的算法。 ...