扩展：偏好优化的目标函数

在线 Notebook

对应的交互式版本可在 Google Colab 打开，统一使用方式见 第0章说明。

所属章节： 第 5 章：LLM 基础前置阅读： 5.5 偏好对齐

---

PPO 中的策略更新

在基于奖励模型的 RLHF 中，当前策略先对提示生成回答，再由奖励模型打分。优势估计用于描述一次采样相对基线的收益。

PPO 常使用策略概率比：

$$r_t(\theta )=\frac{{\pi }_{\theta }(a_t|s_t)}{{\pi }_{old}(a_t|s_t)}$$

裁剪目标为：

$$L^{clip}(\theta )={\mathbb{E}}_t[min(r_t(\theta )A_t,\mathrm{clip}(r_t(\theta ),1-ϵ,1+ϵ)A_t)]$$

裁剪限制单批数据对更新的推动范围，但不保证训练一定稳定。奖励尺度、优势估计、采样分布、价值函数和优化器仍会影响结果。

一个训练循环通常包含：

当前策略生成回答
  → 奖励模型与规则打分
  → 计算优势和 KL 统计
  → 更新策略与价值模型
  → 重新采样

KL 正则

策略目标常加入相对参考模型的 KL 惩罚：

$$J(\theta )=\mathbb{E}[r_{\varphi }(x,y)]-\beta D_{KL}({\pi }_{\theta }(\cdot |x)\parallel {\pi }_{ref}(\cdot |x))$$

$\beta$ 控制奖励优化与策略偏移之间的权衡。KL 较小不代表输出正确或安全，KL 较大也不代表模型没有退化；应同时监控奖励、KL、任务指标和人工评测。

DPO 目标

在 Bradley–Terry 偏好模型及带 KL 正则的奖励优化假设下，奖励差可写成策略与参考模型对数概率比的差。DPO 对偏好回答 $y_w$ 和非偏好回答 $y_l$ 使用：

$${\mathcal{L}}_{DPO}=-\mathbb{E}[\log \sigma (\beta \log \frac{{\pi }_{\theta }(y_w|x)}{{\pi }_{ref}(y_w|x)}-\beta \log \frac{{\pi }_{\theta }(y_l|x)}{{\pi }_{ref}(y_l|x)})]$$

该目标提高偏好回答相对于参考模型的概率优势。它省去单独的奖励模型和在线策略采样，但仍依赖以下假设与选择：

• 偏好对能代表目标行为；
• 参考模型与训练策略选择合理；
• $\beta$、样本长度和数据分布得到控制；
• 训练集偏好能迁移到未见提示。

基于可验证奖励的训练

数学题、代码测试或格式约束可以提供程序化奖励。对同一提示采样多个回答后，可用组内分数构造相对优势；GRPO 是采用这种思路的一类方法，并可省去独立价值模型。

可验证奖励只检查被编码进验证器的部分。例如单元测试通过不代表代码安全，最终答案正确也不代表中间解释可靠。

增加生成时计算有时能改善特定任务，但推理链更长不等于答案必然更准确。冗余步骤、早期错误传播和验证器漏洞都可能使更长输出变差。

实验记录

比较 SFT、DPO 或基于奖励的训练时，至少固定并记录：

基础与参考模型版本
偏好数据来源及冲突率
回答长度分布
采样参数和随机种子
beta / KL 与奖励曲线
任务指标、人工胜率和置信区间
安全集与能力保持结果

只报告奖励上升或训练损失下降不足以证明对齐效果改善。

---

返回： 第 5 章：LLM 基础