强化学习与控制
本页目录
术语与公式速查
读公式时,先问“它要算什么”,再看“每个符号代表什么”,最后代入一组小数字。本页集中解释强化学习基础中的常见概念;MDP 和 时序差分 章的关键公式旁还有可展开的“通俗解释”。点击正文中的术语可跳到对应条目,查完后用浏览器返回继续阅读。
符号怎么读
| 符号 | 用一句话读出来 | 小例子 |
|---|---|---|
| 现在的状态、现在执行的动作、执行后收到的奖励 | 机器人在路口,选择右转,然后得到奖励 | |
| 把指定范围内的各项加起来 | ||
| 经过 | ||
| 按发生概率加权求平均 | 两个结果 | |
| 已知状态 | 竖线读作“在……条件下”,不是除号 | |
| 把左边保存的旧数值更新成右边的计算结果 | ||
| 最大分数 / 获得最大分数的选项 | 左转得 | |
| 估计量、模型参数 | “帽子”表示估计; |
同一字母在不同章节可能有不同含义。MDP 中
状态、观测与 MDP
状态(state) 是做预测所需的信息,观测(observation) 是传感器实际读到的信息。照片能显示球的位置,却不一定告诉你球正往哪边滚;速度可能也是状态的一部分。
MDP(马尔可夫决策过程) 把任务整理成五项:状态
马尔可夫性质 要求:给定当前状态和动作,过去的经历不再提供预测下一状态所必需的额外信息。信息被遮挡、只能看到部分状态时,用 POMDP 描述;堆叠历史帧可能改善观测,但不保证恢复完整状态。
奖励、回报与折扣
奖励(reward) 是一步的反馈,回报(return) 是从当前时刻往后的奖励总账,可以包含折扣。机器人每前进一步得到
折扣因子(discount factor)
下一时刻的回报是
回到正文:回报与递推的通俗推导。
策略、期望与价值
策略(policy)
期望(expectation) 是按概率加权的平均,既不是“希望得到的值”,也不保证一次就得到这个数。
- 状态价值
:从这里出发,一直按策略 行动,平均能拿到多少回报? - 动作价值
:从这里先做动作 ,之后按策略 行动,平均能拿到多少回报?
假设左右两个动作的
回到正文:策略与价值。
贝尔曼方程
贝尔曼方程(Bellman equation) 把“整段未来的平均总账”拆成“眼前一步 + 剩余未来的平均总账”:
在固定策略下,对可能选到的动作和可能到达的下一状态都按概率求平均,就得到上式。它描述期望之间的关系;某次走到坑里得到的实际回报仍可能远低于平均。
回到正文:贝尔曼方程、从贝尔曼方程到 TD 目标。
自举、TD 目标与学习率
自举(bootstrapping) 是在本章语境下用一个估计值更新另一个估计值。例如还没走完整条路,就先用对“下一站”的估计来改进对“这一站”的估计。这里不是统计学中重采样的 bootstrap。
TD 目标 是“刚收到的奖励 + 折扣后的下一状态估值”;TD 误差 是这个目标减去当前估值;学习率
旧估值为
回到正文:TD 更新的手算例子。
同策略与异策略
行为策略(behavior policy) 负责采集数据,目标策略(target policy) 是正在评估或改进的策略。两者一致是 on-policy(同策略),不一致是 off-policy(异策略)。
Sarsa 用下一步实际选中的动作估值;Q-learning 用下一步估值最高的动作,即使采集数据时因为探索选了别的动作。区别在于“学的是谁的行为”,不在于是否使用神经网络。
回到正文:Q-learning 与 Sarsa、同策略与异策略。
Actor、Critic 与优势
Actor 负责选动作,Critic 负责估计价值。可以把它们理解为“做决定的部分”和“给决定打分的部分”,但 Critic 的评分也是学出来的,并不是真实答案。
优势函数(advantage) 回答“这个动作比当前策略在这里的平均表现好多少”:
继续阅读:Actor-Critic、PPO。
PPO 的概率比与裁剪
概率比
裁剪(clip) 限制的是代理目标中的激励。设优势为
优势为负时,要限制的是过度降低动作概率带来的收益;因此不能忽略公式中的
继续阅读:PPO 的 Clip 约束。
进一步核对
- Sutton & Barto:Reinforcement Learning, An Introduction:第 3、4、6 章介绍 MDP、贝尔曼方程与 TD 学习。
- OpenAI Spinning Up:Key Concepts in RL:状态、策略、回报、价值与优势的形式定义。
- OpenAI Spinning Up:PPO:概率比、裁剪目标及其局限。