07 · GRPO、RLOO 与组内奖励

同一问题生成多条回答后，怎样利用奖励差异更新策略？GRPO 用组内奖励均值并可按标准差缩放，RLOO 则排除当前回答后计算留一基线；二者都可省去独立价值模型。先比较它们怎样构造优势，再检查验证器能否提供有效反馈。

组采样如何形成更新信号

同一提示的回答组是比较单位。奖励全部相同时，中心化后的奖励优势为零；参考约束等其他目标仍可能产生梯度。奖励排序错误则会推动错误行为，因此分别记录奖励变化和独立任务结果。

步骤	发生什么	需要检查什么
组采样	同一提示生成多个回复	候选数量、多样性、长度与采样参数
奖励	对每个回复打分	奖励是否真的对应目标任务，而非易投机代理
组内归一化	用组内相对位置形成优势	均值、方差、并列与极端样本是否稳定
策略更新	用组内信号更新当前策略并保持 KL 约束	是否只奖励格式、长度或偶然高分
独立复测	在冻结任务上检查候选	任务成功、安全、鲁棒性与失败案例

GRPO、RLVR 与 PPO 的关系

PPO、GRPO 与 RLOO 是更新方法；可验证奖励强化学习（RLVR）说明反馈来自规则、测试或可检查的环境结果，可以与不同更新方法组合。可验证只代表规则可执行，仍需检查其覆盖范围和漏洞。

路径	更新信号来源	主要优势	主要风险
PPO	奖励 + 价值模型估计	可形成逐位置优势并限制单次策略更新	多模型状态与价值模型成本高
GRPO	同一提示下候选的相对奖励	可减少价值模型依赖，直接利用组内比较	候选不足、组内排序或方差失真
RLOO	排除当前回答后的组内奖励均值	不训练独立价值模型，留一基线定义清楚	每组回答不足、奖励方差和序列级裁剪失真
RLVR	规则、测试或环境终态	反馈可验证、失败可定位	规则过窄时会产生奖励投机，遗漏真实质量

验证器输出何时可以进入组内奖励

验证器应记录规则版本、输入输出、超时、失败类型和无法判定的样本。格式奖励、长度惩罚和答案正确性可以共同出现，但必须分开记录：只提升格式或降低长度，不等于任务成功率提高。出现高奖励、低独立成功率，或异常集中在某类样本时，应优先检查奖励覆盖、候选组和规则漏洞，并保留回滚条件。

失败信号	说明	优先动作
同组候选全部同分	奖励缺少区分度，组内优势退化	增加有效候选差异或修复验证器
奖励几乎全正或全负	采样分布与规则覆盖不匹配	调整难度、采样和奖励覆盖
格式奖励上升但正确率不变	模型学会代理目标而非任务	分离奖励分量并提高正确性权重
高奖励集中于异常短或固定模式	存在长度或模板投机	加入失败切片并修正规则
独立成功率与奖励背离	奖励排序不足以支持采用	停止扩大训练并回查评分协议

核对组内计算后检查轨迹

用GRPO 机制练习核对组内归一化，用RLOO 机制练习核对留一基线与序列裁剪。重复采样时进入轨迹检查，训练后进入独立评测。框架配置见TRL GRPOTrainer与RLOOTrainer。