05 · DPO、KTO 与离线反馈优化

DPO 处理同一提示下“模型应更偏好哪一个回答”，KTO 则处理无法稳定配对、但每条回答拥有明确正负标签的情况。两者都在固定参考策略下利用离线反馈，不需要每轮启动奖励模型和轨迹采样；结论分别依赖偏好对一致性或二元标签含义，也共同依赖参考策略版本和冻结评测结果。

从偏好对到更新方向

一条偏好样本包含同一提示下的优选与非优选回答。DPO 比较两条回答相对冻结参考策略的对数概率变化，使优选回答的相对边际增大。系数 β 进入这一目标的尺度，效果需要在固定数据与训练预算下比较，不能只凭训练损失选择。

对象	在 DPO 中的作用	需要先确认的证据
提示	让两个候选处于同一任务与上下文	任务、模板和上下文一致
优选 / 非优选回答	提供相对排序信号	选择理由、标注一致性、难例与重复关系
SFT 参考策略	给当前策略偏离提供比较基线	来自可用 SFT 检查点，版本可回查
系数 β	控制目标中的相对概率偏移尺度	固定数据与训练预算下的对照结果
独立评测集	判断偏好拟合是否转化为任务改善	与训练偏好对隔离，保留失败样本

选择 DPO 前先判断反馈形态

先检查反馈能否稳定配对，以及下一轮训练是否需要当前策略生成新回答。DPO 与 KTO 的数据单位不同；即使都使用参考策略，也不能直接交换标签或归约方式。

反馈条件	更合适的路径	原因
已有高质量、离线、可复查的偏好对	DPO	直接利用成对偏好，训练和系统成本较低
只有单条点赞、点踩或验收标签，无法稳定配对	KTO	直接利用二元反馈，但必须记录正负样本比例和类别权重
需要通过新生成的候选继续探索	在线偏好或 PPO / GRPO 等在线奖励路径	需要补充当前策略生成的回答及对应反馈
任务结果可由测试、规则或环境明确验证	GRPO / RLVR	验证器可提供比主观偏好更直接的反馈
偏好对来源不稳定、排序理由不清	先回到数据工程	先修数据、切分和标注一致性，不能用优化器掩盖信号问题

常见失败如何进入项目决策

DPO 损失下降需要在独立任务上复核。比较时固定参考策略、数据、解码与评分协议；β 若是研究变量，则单独登记。评审器不稳定时先复核分歧样本；安全硬门槛失败时停止采用，不能仅因训练稳定继续扩大更新。

现象	优先回查	下一步
训练稳定但独立质量无提升	偏好对覆盖、参考策略、评测集隔离	调整数据或 β，保留失败样本
输出明显偏离原有可用行为	参考策略版本、β、优选回答定义	检查更新幅度并复测原有任务
需要新轨迹才能判断好坏	轨迹采样与验证器	转入 PPO、GRPO 或 RLVR 路径

核对离线目标后复测行为

成对反馈使用DPO 机制练习，二元反馈使用KTO 机制练习。训练后进入独立评测；持续采集新反馈时追加轨迹检查。目标定义可查DPO 论文和KTO 论文，框架配置见TRL DPOTrainer与KTOTrainer。