Skip to content

04 · SFT 基线、升级条件与训练交付 ​

训练结束时内存中的模型可以正常回答,保存后重新加载却可能因模板变化或基座不匹配而表现不同;继续训练时,遗漏优化器状态又可能改变后续更新。完成一轮 SFT,需要分别确认任务表现、推理加载和训练恢复。

保存推理模型与恢复训练的区别 ​

用于推理时,模型需要还原权重、分词器、特殊词元、模板与生成设置;适配器还依赖对应基座。重新加载后,用同一组输入、固定的解码设置与随机条件比较输出,可以发现漏载参数或模板变化造成的差异。

继续训练还需要保存一个检查点,即与某个训练进度对应的参数和恢复状态。以 Adam 类优化器为例,一阶、二阶矩记录历史梯度及其平方的滑动统计;若重新初始化这些统计,即使读入相同权重,下一步更新也可能不同。数据游标记录样本读取进度,随机状态记录当前随机数生成器的位置,两者共同影响接下来读到什么、使用什么随机结果。单独保留最初随机种子不能代替中途状态。

使用方式需要还原的主要内容要比较的行为
重新加载推理模型或适配器、匹配基座、分词器、模板与生成设置同输入下的生成行为
从检查点继续训练上述训练所需参数,加优化器、调度器、成功更新步、数据进度与随机状态后续批次与更新是否符合恢复安排

SFT 从固定输入、有效更新和独立验证进入恢复产物与推理交付

SFT 何时完成,何时升级 ​

SFT 通过示范学习任务接口、输出格式、指令遵循与答案内容。如果同类错误仍能通过更好的示范和覆盖得到改善,继续 SFT 往往比立即增加奖励系统更直接。已有指令模型若已满足这些要求,可先复测,再决定直接采用还是作为偏好或奖励优化的起点。

另一类问题是“能生成合理答案,却不稳定地选择更合适的行为”。同提示下的优选与非优选回答可以用于离线偏好训练;需要当前策略尝试新解法、且结果可以评分时,则可以考虑在线更新。反馈能否区分回答,以及评分是否与真实任务一致,决定了这种升级有没有可学习的方向。

主要剩余问题可比较的下一步选择依据
目标任务和能力保持已满足要求进入独立评测与采用判断确认预设质量、安全及资源条件,无须为升级而继续训练
格式或基本任务行为不稳定补充示范并继续 SFT观察独立任务是否随示范改善
已有可复查的回答对DPO 等离线偏好优化同提示下的排序能表达目标偏好
单条回答有可靠正负标签KTO 等二元反馈方法标签含义明确且无需强行配对
需要探索当前策略的新行为PPO、GRPO、RLOO 等在线方法奖励能区分任务表现,并配合所选方法构造优势
规则奖励大量同分或与成功率背离调整采样、验证器或任务难度先恢复反馈区分度与任务含义
外部事实或领域知识缺失比较检索增强生成(RAG)、数据补充或持续预训练区分检索可解决的问题与参数内知识缺口

基线用于后续哪些比较 ​

可重新加载、可以评测的 SFT 模型,为后续方法提供共同起点。将其冻结,还可以作为参考策略来源:这里的策略是模型在给定上下文下生成下一词元的概率分布,参考策略在当前一轮训练中保持固定,用于衡量更新后的模型偏离了多少。后续候选与共同起点在相同任务上比较,才能区分增加了偏好、奖励或探索后实际改变的能力。

阶段选择见Part 02 · 33 后训练准入,有效更新见Part 02 · 15 SFT 有效更新与训练闭环。需要继续训练时,分别进入离线偏好或在线奖励更新;基线与训练候选都使用独立评测判断任务收益与采用条件。

Released under the MIT License.