跳到主要内容

查看 Markdown

页面正文已转为 Markdown。交互图形可通过文末链接在原网页查看。

术语与公式速查

读公式时,先问“它要算什么”,再看“每个符号代表什么”,最后代入一组小数字。本页集中解释强化学习基础中的常见概念;MDP 和 时序差分 章的关键公式旁还有可展开的“通俗解释”。点击正文中的术语可跳到对应条目,查完后用浏览器返回继续阅读。

符号怎么读​

符号用一句话读出来小例子
现在的状态、现在执行的动作、执行后收到的奖励机器人在路口,选择右转,然后得到奖励
把指定范围内的各项加起来
经过 步后的折扣权重
按发生概率加权求平均两个结果 各占一半,期望为
已知状态 时,动作 的概率竖线读作“在……条件下”,不是除号
把左边保存的旧数值更新成右边的计算结果 表示增加
/ 最大分数 / 获得最大分数的选项左转得 、右转得 :最大值是 ,最优选项是右转
估计量、模型参数“帽子”表示估计; 可以是策略网络的权重

同一字母在不同章节可能有不同含义。MDP 中 是奖励,PPO 中 是新旧策略的概率比;先读当前公式旁的定义。

状态、观测与 MDP​

状态(state) 是做预测所需的信息,观测(observation) 是传感器实际读到的信息。照片能显示球的位置,却不一定告诉你球正往哪边滚;速度可能也是状态的一部分。

MDP(马尔可夫决策过程) 把任务整理成五项:状态 、动作 、转移规律 、奖励规则 和折扣因子 。它不是某一种神经网络,而是描述“看到什么、做什么、会发生什么、怎样算好”的问题模型。

马尔可夫性质 要求:给定当前状态和动作,过去的经历不再提供预测下一状态所必需的额外信息。信息被遮挡、只能看到部分状态时,用 POMDP 描述;堆叠历史帧可能改善观测,但不保证恢复完整状态。

回到正文:MDP 的定义、马尔可夫性质。

奖励、回报与折扣​

奖励(reward) 是一步的反馈,回报(return) 是从当前时刻往后的奖励总账,可以包含折扣。机器人每前进一步得到 ,到终点得到 ;当前这一步的奖励和整趟路的回报不是同一个量。

折扣因子(discount factor) 决定未来奖励在现在值多少。假设接下来两步奖励为 ,随后结束,取 :

下一时刻的回报是 ,所以也能写成 。终止后没有新的奖励,约定 。无限时域通常用 配合有界奖励保证回报有限;有限回合也可以取 。

回到正文:回报与递推的通俗推导。

策略、期望与价值​

策略(policy) 是选动作的规则。离散动作下, 表示在状态 选择动作 的概率是 。连续动作中通常用概率密度表示,不能把某一点的密度直接当成选中该精确动作的概率。

期望(expectation) 是按概率加权的平均,既不是“希望得到的值”,也不保证一次就得到这个数。

  • 状态价值 :从这里出发,一直按策略 行动,平均能拿到多少回报?
  • 动作价值 :从这里先做动作 ,之后按策略 行动,平均能拿到多少回报?

假设左右两个动作的 值为 ,策略各以一半概率选择它们,则 。这里是按策略平均,不是取最大值 。

回到正文:策略与价值。

贝尔曼方程​

贝尔曼方程(Bellman equation) 把“整段未来的平均总账”拆成“眼前一步 + 剩余未来的平均总账”:

在固定策略下,对可能选到的动作和可能到达的下一状态都按概率求平均,就得到上式。它描述期望之间的关系;某次走到坑里得到的实际回报仍可能远低于平均。

回到正文:贝尔曼方程、从贝尔曼方程到 TD 目标。

自举、TD 目标与学习率​

自举(bootstrapping) 是在本章语境下用一个估计值更新另一个估计值。例如还没走完整条路,就先用对“下一站”的估计来改进对“这一站”的估计。这里不是统计学中重采样的 bootstrap。

TD 目标 是“刚收到的奖励 + 折扣后的下一状态估值”;TD 误差 是这个目标减去当前估值;学习率 决定本次往目标靠近多少:

新估值旧估值目标旧估值

旧估值为 ,目标为 ,,新估值就是 。学习率不是折扣因子: 控制如何更新, 控制未来奖励的权重。真正终止时不再自举;仅因时间限制而截断的轨迹,是否自举取决于任务的终止定义。

回到正文:TD 更新的手算例子。

同策略与异策略​

行为策略(behavior policy) 负责采集数据,目标策略(target policy) 是正在评估或改进的策略。两者一致是 on-policy(同策略),不一致是 off-policy(异策略)。

Sarsa 用下一步实际选中的动作估值;Q-learning 用下一步估值最高的动作,即使采集数据时因为探索选了别的动作。区别在于“学的是谁的行为”,不在于是否使用神经网络。

回到正文:Q-learning 与 Sarsa、同策略与异策略。

Actor、Critic 与优势​

Actor 负责选动作,Critic 负责估计价值。可以把它们理解为“做决定的部分”和“给决定打分的部分”,但 Critic 的评分也是学出来的,并不是真实答案。

优势函数(advantage) 回答“这个动作比当前策略在这里的平均表现好多少”:。例如动作价值为 ,状态价值为 ,优势就是 ;负值表示低于基准。PPO 中 是优势的估计值,不是即时奖励。

继续阅读:Actor-Critic、PPO。

PPO 的概率比与裁剪​

概率比 比较新旧策略对同一个动作的倾向。离散动作的概率从 变成 ,比值就是 ;连续动作比较的是密度。

裁剪(clip) 限制的是代理目标中的激励。设优势为 ,,比值为 ,该样本的 PPO-Clip 目标是 。继续提高这个比值不再增加该样本对目标的贡献。

优势为负时,要限制的是过度降低动作概率带来的收益;因此不能忽略公式中的 ,也不能简单理解成“把所有概率锁在固定区间”。裁剪不保证新旧策略的距离始终受限。

继续阅读:PPO 的 Clip 约束。

进一步核对​