强化学习算法地图：基于模型与不基于模型
AI 总结
这篇入门教程以是否使用环境模型为线索，梳理强化学习方法。它借助走廊机器人示例，区分利用已知或习得模型进行规划，以及直接从经验中学习，并介绍动态规划、模型预测控制、蒙特卡洛树搜索、模型学习、基于价值的方法、基于策略的方法和演员—评论家方法。文中还说明，此处的“模型”指环境动态与奖励，而非大语言模型，也不取决于是否使用神经网络。
深度见解
教程将多类强化学习方法置于统一框架，并解释了环境模型与“模型”其他含义的区别，有助于建立理解该领域的基础框架。
【上期回顾】 上一篇讲了价值：状态价值 Vπ(s)V_\pi(s)Vπ(s) 是照策略 π\piπ 走的平均回报，动作价值 Qπ(s,a)Q_\pi(s,a)Qπ(s,a) 是先做动作 aaa、再照策略走的平均回报。贝尔曼方程说，这一格的价值可以从下一格的价值推出来；贝尔曼最优方程说，每格都挑最好的动作，就能得到最优策略：走廊里是一路向右，V∗=6.2, 8, 10V_*=6.2,\ 8,\ 10V∗=6.2, 8, 10。 那些方程能直接解，是因为我们知道走廊的全部规则。这一篇就从“规则”说起：知道规则怎么办，不知道又怎么办？顺着这个问题，把强化学习的各种算法放到一张地图上。
▲ 图 1 本篇例子：走廊里的扫地机器人（规则同前两篇）
【设定】走廊的规则