06 · 奖励信号、PPO 与 RLHF

需要对当前模型新生成的回答进行优化时，怎样把反馈变成更新方向？PPO 先取得任务奖励，再利用价值估计构造优势，并限制策略相对旧策略和参考策略的变化。阅读时分别跟踪反馈、概率和模型状态，才能判断问题来自奖励、更新还是系统成本。

反馈怎样成为可用于更新的奖励

反馈来源决定奖励怎样产生，但不能单独证明奖励可靠。学习型奖励需要在留出偏好对上检查排序和校准；规则验证器需要区分成功、失败、超时和无法判定；环境反馈需要绑定环境版本和终止状态。多个奖励分量共同使用时，应分别保存原始分量，再说明组合规则，避免格式或长度分数掩盖任务失败。

回答级任务奖励可写入最后一个有效动作位置，过程奖励写入对应动作，再按需要加入逐位置参考约束。PPO 由回报与价值基线形成优势，GRPO 则使用同提示回答组的奖励统计量。规则反馈可以跳过奖励模型训练，但仍需检查反馈是否有效。

反馈来源	形成奖励前必须固定	可以支持的更新信号	不能单独证明
人工偏好与奖励模型	同提示偏好对、模型版本、留出排序与校准	回答级标量奖励	通用能力、安全与跨任务质量
规则验证器	规则版本、输入输出、超时与无法判定状态	正确性、格式或约束满足奖励	规则未覆盖的质量维度
环境终态	环境版本、动作、观察、终止原因与重试状态	成功、失败或阶段性反馈	失败究竟来自策略还是环境异常
组合奖励	各分量原值、权重、硬门槛与组合版本	多目标训练信号	加权总分没有掩盖关键失败

一次 PPO 更新中的信号如何流动

同一批提示先生成带版本的轨迹，并保存行为策略概率。更新时以旧概率和固定优势计算裁剪目标，参考策略提供偏离约束，价值模型拟合回报目标。旧概率、参考策略和奖励模型在这一轮更新中固定；当前策略与价值模型分别接受更新。行为侧和学习器使用不同执行后端时，还需检查同版本概率是否对齐。

奖励表示任务反馈，价值估计当前状态下的预期回报，优势以两者的差异表达“这条轨迹相对预期是否更好”。KL 约束放在策略更新中，防止模型为追求局部奖励而无依据地偏离参考策略；它不能修复错误奖励、污染数据或失真的评测集。

阶段	输入与输出	更新信号	需要观察的代价
轨迹采样	提示 → 当前策略回复	行为策略产生待评估候选	生成词元、KV Cache、队列等待与执行后端吞吐
奖励计算	回复 → 奖励 / 验证器分数	候选是否满足偏好或任务目标	打分耗时、一致性与奖励漏洞
价值与优势	奖励、价值估计、轨迹	相对预期好多少，决定更新方向	价值模型驻留、激活与轨迹缓存
PPO 更新	当前策略、旧概率、参考策略、优势	裁剪策略目标与 KL 约束	优化器、参考策略、通信与更新时长
独立评测	基线 / 候选 → 固定评测结果	是否真的改善而非只提高奖励	质量、安全、鲁棒性、成本与回滚条件

PPO 与离线偏好优化的选择

离线偏好数据已经覆盖目标行为时，可以先比较直接使用偏好对的方案；需要对当前策略的新行为持续评分时，再评估在线更新所增加的采样、奖励与恢复成本。RLHF 描述人类反馈的使用路线，PPO 是其中一种策略更新方法，两者不是同义词。

条件	DPO 更合适	PPO / RLHF 更合适
反馈来源	已有同题、标注一致且与评测隔离的优选 / 非优选回答对	需要对当前策略新生成的行为打分
探索能力	离线数据范围内优化	可从轨迹采样中探索新候选
系统成本	不必持续运行采样、奖励和价值模型	需要协调生成、打分、更新与恢复
主要风险	偏好对质量、参考策略偏离、离线覆盖不足	奖励投机、轨迹成本、系统不稳定

成本为什么会改变方法选择

轨迹采样、奖励计算和参数更新使用不同执行阶段，耗时与峰值显存需要分开测量。旧概率可以保存为数据，并不要求长期驻留第五个完整模型；也不能把所有角色的独立峰值直接相加为同一时刻的总占用。多工作进程还需记录排队、权重同步和恢复状态。

先用奖励模型与校准练习检查学习型反馈，再用奖励信号练习核对回报和优势，最后在PPO 练习中比较角色、概率与更新。持续采样进入轨迹生命周期，训练状态与多卡切分分别回查反向传播和通信与并行。