05 · DPO、KTO 与离线反馈优化
同一个问题的两条回答,一条正确但简短,另一条流畅却答错。偏好标注选择了前者,训练就需要让模型更倾向于这种选择。直接偏好优化(DPO)使用同提示下的回答对;只有单条回答的正负反馈时,KTO 提供另一种目标。
偏好对怎样改变相对概率
这里的策略是模型在给定上下文下生成下一词元的概率分布。整条回答的概率,是沿回答位置将这些条件概率连乘;取对数后,连乘变成求和。提示作为条件保留,不计入回答自身的概率。
设提示为
DPO 再比较优选与非优选回答的这两个变化量。令
例如,参考策略给两条回答的对数概率分别为 -10 和 -12,当前策略给出 -9 和 -12。此时
损失取决于两个变化量的差,因此优选回答的绝对概率并不保证每次都增加:非优选回答下降得更多,也可能使目标改善。这也是训练损失下降后仍要观察实际生成回答的原因。
参考策略与系数 β
参考策略提供固定的概率比较起点。训练中换掉参考模型,同一对回答的
单条正负标签为什么不直接组成偏好对
假设日志中只有“回答 A 获赞”和“回答 B 被点踩”,但它们回答的是不同问题。直接配对会把问题难度与上下文差异混入排序。KTO 使用单条回答的正向或负向标签,将其相对参考策略的对数概率变化与一个 KL 基线比较,再按标签构造目标。KL 散度衡量两个概率分布的偏离;这里的基线由独立样本估计,提供总体偏移的参照,而不是某条回答的正确性分数。正负样本数量及类别权重还会影响总体损失。
DPO 与 KTO 都能使用已有离线反馈,不要求每次更新都重新采样。若需要判断当前模型新生成的行为,就要另外组织采样和反馈;偏好形式、更新目标与采样方式是三个相关但不同的选择。
偏好拟合与实际回答的差距
如果标注持续偏好更长的回答,模型可能学到长度偏好,而不是正确性。若同一问题的选择理由互相矛盾,降低损失也不能消除反馈冲突。独立任务评测用来区分偏好对拟合与实际能力变化;原有能力与安全要求也不能只由训练稳定性代替。
成对目标见Part 02 · 17 DPO,单条反馈与 KL 基线见Part 02 · PT-KTO,符号与归约见公式索引。离线候选可以直接进入独立评测;需要当前模型生成新回答并获得奖励时,再进入在线奖励更新。
