后训练优化判断手册 | Post-Training Casebook
先根据失败现象、训练信号和已有测量选择下一步,再由所需数据与更新方式定位算法。每次判断至少记录数据版本、模型版本、配置、工作负载、质量指标、资源消耗、失败样本、输出文件和最终决定。
| 现象或目标 | 先检查什么 | 至少记录 | 首选正文 | 继续验证 |
|---|---|---|---|---|
| 输出格式不稳 | 抽查失败回答对应的示范、模板与同类任务覆盖 | 失败样本、示范版本、格式错误率、切分 | 01 SFT 数据与监督位置 | Part 02 · 32 数据审计 / Part 02 · 64 数据准入项目 |
| 损失变化与预期监督对象不一致 | 逐位置比较标签、预测对齐、注意力范围及损失分母 | 模板、有效监督位置与词元数、分子分母 | 01 SFT 数据与监督位置 | Part 02 · 13 SFT 训练循环 |
| 适配器加载后没有预期变化 | 对照目标模块、可训练参数与梯度,再比较保存前后同输入输出 | 基座与适配器版本、目标模块、参数变化、重载误差 | 02 LoRA、PEFT 与训练对象 | Part 02 · 14 LoRA / Part 02 · 63 LoRA 选型 |
| LoRA 训练仍超出显存预算 | 区分冻结基座、激活与优化器状态的占用,再判断是否需要低比特基座 | 长度、批量、可训练参数、峰值显存与任务质量 | 02 参数适配、03 低资源训练 | Part 02 · 65 QLoRA 选型 |
| 有效批量或更新次数与预期不一致 | 对照微批次、累计窗口、有效词元数与成功更新计数 | 批量、归约分母、成功与跳步次数、学习率进度 | 03 训练控制 | Part 02 · 11 梯度累积 / Part 02 · 15 有效更新 |
| 从检查点恢复后训练轨迹改变 | 比较恢复前后的批次、优化器状态、数据游标与随机状态 | 检查点身份、后续样本顺序、学习率、参数差异 | 04 基线与训练交付 | Part 02 · 62 SFT 训练交付 |
| 训练完成但检查点、分词器或报告缺失 | 产物、恢复状态、样例输出与结果记录 | 模型或适配器、配置、分词器、清单、哈希、恢复记录 | 04 SFT 实验与交付 | Part 02 · 62 SFT 训练交付 |
| 有同提示的回答偏好对 | 核对优选理由、排序冲突、参考策略与评测隔离 | 偏好对版本、参考策略、偏好边际、冻结评测结果 | 05 DPO / KTO | Part 02 · 17 DPO / Part 02 · 84 DPO 项目 |
| 只有单条回答的正负反馈 | 检查标签含义、类别比例及独立 KL 样本,避免跨问题强行配对 | 标签版本、正负比例、参考策略、KL 基线 | 05 DPO / KTO | Part 02 · PT-KTO 二元反馈对齐 |
| 奖励上升,独立任务质量却下降 | 先复核奖励与任务得分分歧的回答;学习型奖励检查排序与校准,规则奖励检查测试覆盖 | 奖励来源与版本、分量、分歧样本、独立质量;学习型评分另记校准误差 | 06 奖励信号、10 评测与决策 | Part 02 · PT-REWARD-SIGNAL;学习型评分再看Part 02 · PT-REWARD-MODEL |
| 优势符号或策略比率与预期计算不符 | 分开复算回报、价值基线和当前/旧概率,再核对动作位置 | 奖励分量、回报、价值、优势、当前与旧概率 | 06 奖励信号、PPO 与 RLHF | Part 02 · PT-REWARD-SIGNAL / Part 02 · 16 PPO |
| 组内奖励优势全零 | 先检查可评分成员与同分率,再复算中心化奖励及分母 | 候选组及失败状态、奖励、组均值、优势 | 07 组内奖励 | Part 02 · 18 GRPO |
| GRPO / RLOO 对同组奖励得到不同结果 | 对照组均值与留一基线,再核对标准差保护及词元/序列比率 | 输入奖励、基线、优势尺度、比率粒度与归约方式 | 07 GRPO / RLOO | Part 02 · 18 GRPO / Part 02 · PT-RLOO |
| 在线轨迹无法进入当前更新 | 查看拒绝原因,再对照生成身份、概率偏离、奖励及消费状态 | 版本差、动作概率偏离、轨迹身份、未完成奖励、提交记录 | 08 轨迹生命周期 | Part 02 · PT-ROLLOUT-LIFECYCLE |
| 在线采样增加,完成更新的速度却未提高 | 把采样、奖励、训练换算到同一单位,再比较队列增长与设备等待 | 等价处理率、队列等待、阶段时间、资源放置 | 09 在线执行系统 | Part 02 · PT-RL-SYSTEM |
| 失败重试可能重复提交参数更新 | 先确认该批次是否完成更新与提交,再决定释放、隔离或恢复 | 轨迹 ID、批次提交记录、检查点与消费进度 | 08 轨迹状态、09 执行恢复 | Part 02 · PT-ROLLOUT-LIFECYCLE / Part 02 · 86 生命周期与恢复 |
| 学生训练后得分提高,但压缩或蒸馏收益不清 | 分别与共同训练前学生、冻结教师比较,核对轨迹来源、训练剂量与部署成本 | 学生起点、教师版本、各路线质量、产物大小与成本 | 10 学生与能力提升的参照 | Part 02 · DISTILL-OPD / Part 02 · 88 蒸馏学生交付 |
| 指标相互冲突 | 逐项对照预设质量、安全和资源硬门槛,定位未通过项;再比较总体均值与失败切片是否给出相反结论,并复查评分分歧样本 | 固定基线与候选、各维度门槛、失败切片、回滚条件 | 10 独立评测、能力回归与采用决策 | Part 02 · 50 偏好评测 / Part 02 · 51 在线回滚 |
| 梯度为空、非有限值、更新边界或训练状态异常 | 梯度为空时沿损失回查参数是否参与计算且允许求导;非有限时定位首次异常及缩放、跳步记录;更新或恢复异常时对照前后参数、累计窗口与成功更新计数 | 梯度状态、有效更新、缩放与跳步记录 | 反向传播与训练机制 | 反向传播实验资产 |
| 显存峰值、训练步或轨迹采样吞吐异常 | 对齐阶段时间线与显存采样,找出峰值时同时驻留的权重、激活和缓存;性能不足时比较计算、通信及 I/O 等待区间,定位推迟后续阶段的工作 | 峰值显存、阶段耗时、吞吐、等待和瓶颈归因 | 性能优化 | 性能优化判断手册 / 测量与诊断实验记录 |
| 数据解析、血缘、去重或污染无法解释 | 选一条异常记录回溯原始来源与转换规则,按登记版本重算输入和完整样本指纹,再核对其训练、验证及测试切分成员 | 来源许可、处理版本、样本身份、污染和质量记录 | 数据生命周期与契约、清洗与质量链 | Part 02 · 32 数据准入 |
