书 · 1998-02 · 理查德·萨顿（Richard S. Sutton）、安德鲁·巴托（Andrew G. Barto）

《强化学习》

计算机与 AI书单第 47 名

一句话结论

这本书教你理解：一个没有标准答案的行动者，怎样通过试错、预测长期后果和改进行动，逐渐学会把事情做好。

值不值得读完整本？

值得读完整本，尤其适合想弄懂强化学习基本逻辑的人：它把问题定义、算法和实例串成了一套可以推演的框架。

先读第一至三章，分清奖励、回报、价值和策略，特别留意探索与利用的冲突，以及马尔可夫状态的含义。
第四至六章是主干，要对照着读：动态规划依赖环境模型，蒙特卡洛方法使用完整回报，时序差分方法利用下一步的估计。
第七至九章值得细读，分别解决延迟反馈、庞大状态空间和经验利用效率的问题；第十章再把这些方法放回统一框架。
第十一章先挑一个案例精读，其余可以浏览；首遍可暂缓带星号的专题和部分历史说明。
配合练习最有效：手算几轮小网格中的价值更新，再实现一个多臂老虎机或随机游走实验，观察探索比例和学习步长怎样改变结果。

核心观点

1. 学习的是长期行动后果，探索也是行动的一部分

强化学习通过行动后得到的评价性反馈学习，目标是提高预期长期回报，而不是每一步都拿到最高奖励。由于反馈只涉及实际尝试过的行动，学习者还必须主动探索。

为什么：当前行动既会带来奖励，也可能改变以后能到达的状态，因此眼前收益不能代表长期价值。奖励只说明已经采取的行动结果如何，并不直接告诉学习者其他行动是否更好。如果只重复当前看来最好的行动，早期的偶然误判就可能一直得不到纠正。探索会牺牲部分眼前收益，却能获得改善未来决策所需的信息。

2. 价值评估与策略改进构成学习的基本循环

价值函数估计按照某种策略行动时的预期长期回报，策略改进则据此选择更有前景的行动。动态规划和蒙特卡洛控制都可以放进这种评估与改进相互推动的框架。

为什么：在马尔可夫决策过程中，状态已经包含预测下一步所需的信息，长期回报因此可以拆成即时奖励与后续价值。动态规划利用模型，对可能的后继情况求期望；蒙特卡洛方法则用实际经历的完整回报估计价值。有了当前策略的价值，就能比较改变眼前行动是否有利，再评估改变后的策略。在相应条件下，反复进行这个过程能走向最优策略，而不必预先枚举所有完整策略。

3. 时序差分用下一步预测修正当前预测

时序差分学习不必等待一整局结束，也不必预先知道环境模型：它用即时奖励加上下一状态的估计价值，修正当前估计。这种借助已有估计来更新估计的做法叫自举。

为什么：完整回报可能很晚才出现，等待它会推迟学习，而且不同轨迹会带来较大的波动。下一状态的价值虽然还不准确，却已经汇集了此前经验，所以能够充当暂时的学习目标。新奖励与前后预测之间的差异形成误差信号，把信息逐步向更早的状态传播。控制时还要分清学的是哪种策略：同策略方法考虑实际探索行为，异策略方法则可以从一种行为产生的数据中学习另一种目标策略。

4. 资格迹把迟来的反馈分配给此前的经历

资格迹为近期访问过的状态或状态与行动的组合保留逐渐衰减的标记，让一次新的时序差分误差能够同时更新多个过去的估计。它把一步学习与利用更长时间跨度的回报联系起来。

为什么：如果每次只更新刚刚离开的状态，远处的结果往往需要经过多次经历才能传回较早的决策。资格迹记录哪些过去的经历仍有资格接受当前误差的修正，因而能加快信息向前传播。从前向视角看，这对应于综合不同步数的回报；从后向视角看，则是用记忆痕迹执行更新。衰减速度控制时间跨度，但跨度更长并不保证效果更好，还要考虑回报波动和学习步长。

5. 函数逼近让经验泛化，也让误差相互牵动

当状态太多或连续变化时，逐个存储价值不现实，需要用共享参数的函数表示价值。这样可以从已见状态推广到未见状态，但不能直接沿用表格方法的全部稳定性保证。

为什么：共享特征使多个状态的价值依赖同一组参数，因此一次经验可以同时改善一批相关状态的估计。不过，共享是否有帮助取决于特征是否保留了与任务有关的差别。同一机制也意味着修正一个状态时，其他状态的估计可能被带偏。再加上自举目标本身会随参数改变，某些更新分布下误差可能被不断放大，所以泛化能力与稳定性必须一起考察。

6. 规划和学习可以共用更新方法，区别在经验从哪里来

真实交互产生的经验可以直接改进价值，也可以用来学习环境模型，再由模型生成模拟经验继续更新。规划与学习因此能够组成一个循环。

为什么：如果价值更新只需要状态、行动、奖励和后继状态，那么这些信息既可以来自真实行动，也可以来自模型模拟。一次真实交互因而不仅能触发一次直接更新，还能通过改进模型支持后续计算。计算资源也可以优先用于最可能影响决策的状态，提高经验的利用效率。但模型会过时或出错，所以规划必须持续接受真实交互的校正，不能靠反复模拟自动发现未知变化。

反对意见

不应把直接搜索策略的路线排除在外（Thrun、Littman）

Sebastian Thrun和Michael L. Littman在《A Review of Reinforcement Learning》中肯定本书的统一讲法，但批评它偏重时序差分路线，尤其反对把直接搜索策略的进化方法排除在强化学习之外。他们认为，通过交互回报改进策略的研究路线，不应因为没有采用本书偏好的价值学习方式就被划到领域之外。

算法直觉不能替代对证明与隐藏状态的深入处理（Rao）

Rajesh P. N. Rao在《Learning to Maximize Rewards》书评中肯定图例和伪代码的教学效果，同时指出初版对最优性、收敛性的严格证明，以及隐藏状态和部分可观测问题讨论不足。这是对教材覆盖范围的批评：理解了更新规则，还不足以判断它在观测不完整或假设不满足时是否可靠。

单一标量奖励未必足以表达智能体的目标（Vamplew等）

Peter Vamplew等在《Scalar Reward Is Not Enough》中主张，智能需要处理相互冲突的多个目标，显式使用向量奖励可以保留单一标量可能掩盖的取舍。这篇论文直接回应的是2021年的《Reward Is Enough》，不是1998年教材；它适合用来反思奖励建模的边界，不能当作对本书算法结论的反证。