04 · SFT 基线、升级条件与训练交付
一轮 SFT 结束后，怎样确认模型值得保留，并能从保存点继续训练？从已经通过数据检查、监督位置检查和资源预检的训练配置出发，比较更新前后的独立任务结果，再分别验证恢复训练与重新加载推理。长样本同时检查截断和拼接边界。
SFT 基线怎样形成可恢复产物
数据版本 → 模型 / 分词器 → 适配器配置 → 训练控制 → 独立评测 → 检查点 / 产物 → 报告
| 交付对象 | 至少保存什么 | 用途 |
|---|---|---|
| 训练恢复 | 模型 / 适配器、优化器、调度器、更新步、随机状态和数据游标 | 从相同状态继续更新；随机种子不能替代中途随机状态 |
| 推理复现 | 分词器、特殊词元、聊天模板、生成配置 | 防止训练与推理行为漂移 |
| 配置与数据 | 训练、LoRA 与评测配置，数据版本与切分 | 解释结果来自什么条件 |
| 证据与报告 | 训练 / 验证指标、样例、资源、失败与结论 | 比较基线与候选 |
SFT 何时完成，何时升级
SFT 的作用是用示范高效建立任务接口、输出格式、指令遵循和基础正确性，并为后续偏好或奖励优化提供稳定初始化、可比较基线和参考策略来源。已有指令模型通过相同门槛后可以直接进入偏好分支；知识缺失主要来自外部事实或领域表示时，先比较 RAG 或持续预训练。
先检查继续增加高质量示范是否仍能改善独立任务，再根据剩余错误选择反馈。已有偏好对可以进入离线优化；需要当前策略探索且奖励能够区分结果时，再评估在线奖励方法。奖励覆盖、同分率、饱和率及与独立质量的一致性要分别检查。SFT 检查点可以提供策略初始化与冻结参考策略，但还需保存模型、分词器、数据版本、配置和评测结果。
| 观察到的证据 | 优先动作 | 需要满足的条件 |
|---|---|---|
| 格式、任务接口或指令遵循仍不稳定 | 补数据并继续 SFT | 奖励会同时承担“教会基本行为”和“优化偏好”两种职责 |
| 独立质量仍随高质量示范稳定提升 | 继续 SFT，并检查数据覆盖与训练控制 | 用相同评测集确认新增示范带来的收益 |
| 已有同提示优选 / 非优选回答，可直接使用离线数据 | 使用 DPO 等离线偏好优化 | 离线负反馈可直接形成偏好更新 |
| 需要当前策略探索多步轨迹，反馈来自偏好模型 | 评估 PPO 等在线策略更新 | 需要轨迹、价值或基线、策略版本与回滚控制 |
| 数学答案、代码测试或环境终态可验证，候选间奖励可区分 | 评估 GRPO / RLVR | 规则覆盖不足或奖励饱和时容易产生奖励投机 |
| 奖励大量同分、全正 / 全负，或与独立成功率背离 | 修复奖励、验证器或采样分布 | 缺少可学习的相对信号 |
从训练记录选择下一步
用阶段选择练习回查训练目标，用SFT 有效更新练习核对更新和评测。基线通过后，已有离线反馈进入DPO / KTO，需要探索时比较PPO与GRPO / RLOO。资源开销成为采用条件时，用性能优化补充显存、时间与回归对照。