Skip to content

后训练优化判断手册 | Post-Training Casebook ​

先根据失败现象、训练信号和已有测量选择下一步,再由所需数据与更新方式定位算法。每次判断至少记录数据版本、模型版本、配置、工作负载、质量指标、资源消耗、失败样本、输出文件和最终决定。

现象或目标先检查什么至少记录首选正文继续验证
输出格式不稳抽查失败回答对应的示范、模板与同类任务覆盖失败样本、示范版本、格式错误率、切分01 SFT 数据与监督位置Part 02 · 32 数据审计 / Part 02 · 64 数据准入项目
损失变化与预期监督对象不一致逐位置比较标签、预测对齐、注意力范围及损失分母模板、有效监督位置与词元数、分子分母01 SFT 数据与监督位置Part 02 · 13 SFT 训练循环
适配器加载后没有预期变化对照目标模块、可训练参数与梯度,再比较保存前后同输入输出基座与适配器版本、目标模块、参数变化、重载误差02 LoRA、PEFT 与训练对象Part 02 · 14 LoRA / Part 02 · 63 LoRA 选型
LoRA 训练仍超出显存预算区分冻结基座、激活与优化器状态的占用,再判断是否需要低比特基座长度、批量、可训练参数、峰值显存与任务质量02 参数适配、03 低资源训练Part 02 · 65 QLoRA 选型
有效批量或更新次数与预期不一致对照微批次、累计窗口、有效词元数与成功更新计数批量、归约分母、成功与跳步次数、学习率进度03 训练控制Part 02 · 11 梯度累积 / Part 02 · 15 有效更新
从检查点恢复后训练轨迹改变比较恢复前后的批次、优化器状态、数据游标与随机状态检查点身份、后续样本顺序、学习率、参数差异04 基线与训练交付Part 02 · 62 SFT 训练交付
训练完成但检查点、分词器或报告缺失产物、恢复状态、样例输出与结果记录模型或适配器、配置、分词器、清单、哈希、恢复记录04 SFT 实验与交付Part 02 · 62 SFT 训练交付
有同提示的回答偏好对核对优选理由、排序冲突、参考策略与评测隔离偏好对版本、参考策略、偏好边际、冻结评测结果05 DPO / KTOPart 02 · 17 DPO / Part 02 · 84 DPO 项目
只有单条回答的正负反馈检查标签含义、类别比例及独立 KL 样本,避免跨问题强行配对标签版本、正负比例、参考策略、KL 基线05 DPO / KTOPart 02 · PT-KTO 二元反馈对齐
奖励上升,独立任务质量却下降先复核奖励与任务得分分歧的回答;学习型奖励检查排序与校准,规则奖励检查测试覆盖奖励来源与版本、分量、分歧样本、独立质量;学习型评分另记校准误差06 奖励信号、10 评测与决策Part 02 · PT-REWARD-SIGNAL;学习型评分再看Part 02 · PT-REWARD-MODEL
优势符号或策略比率与预期计算不符分开复算回报、价值基线和当前/旧概率,再核对动作位置奖励分量、回报、价值、优势、当前与旧概率06 奖励信号、PPO 与 RLHFPart 02 · PT-REWARD-SIGNAL / Part 02 · 16 PPO
组内奖励优势全零先检查可评分成员与同分率,再复算中心化奖励及分母候选组及失败状态、奖励、组均值、优势07 组内奖励Part 02 · 18 GRPO
GRPO / RLOO 对同组奖励得到不同结果对照组均值与留一基线,再核对标准差保护及词元/序列比率输入奖励、基线、优势尺度、比率粒度与归约方式07 GRPO / RLOOPart 02 · 18 GRPO / Part 02 · PT-RLOO
在线轨迹无法进入当前更新查看拒绝原因,再对照生成身份、概率偏离、奖励及消费状态版本差、动作概率偏离、轨迹身份、未完成奖励、提交记录08 轨迹生命周期Part 02 · PT-ROLLOUT-LIFECYCLE
在线采样增加,完成更新的速度却未提高把采样、奖励、训练换算到同一单位,再比较队列增长与设备等待等价处理率、队列等待、阶段时间、资源放置09 在线执行系统Part 02 · PT-RL-SYSTEM
失败重试可能重复提交参数更新先确认该批次是否完成更新与提交,再决定释放、隔离或恢复轨迹 ID、批次提交记录、检查点与消费进度08 轨迹状态、09 执行恢复Part 02 · PT-ROLLOUT-LIFECYCLE / Part 02 · 86 生命周期与恢复
学生训练后得分提高,但压缩或蒸馏收益不清分别与共同训练前学生、冻结教师比较,核对轨迹来源、训练剂量与部署成本学生起点、教师版本、各路线质量、产物大小与成本10 学生与能力提升的参照Part 02 · DISTILL-OPD / Part 02 · 88 蒸馏学生交付
指标相互冲突逐项对照预设质量、安全和资源硬门槛,定位未通过项;再比较总体均值与失败切片是否给出相反结论,并复查评分分歧样本固定基线与候选、各维度门槛、失败切片、回滚条件10 独立评测、能力回归与采用决策Part 02 · 50 偏好评测 / Part 02 · 51 在线回滚
梯度为空、非有限值、更新边界或训练状态异常梯度为空时沿损失回查参数是否参与计算且允许求导;非有限时定位首次异常及缩放、跳步记录;更新或恢复异常时对照前后参数、累计窗口与成功更新计数梯度状态、有效更新、缩放与跳步记录反向传播与训练机制反向传播实验资产
显存峰值、训练步或轨迹采样吞吐异常对齐阶段时间线与显存采样,找出峰值时同时驻留的权重、激活和缓存;性能不足时比较计算、通信及 I/O 等待区间,定位推迟后续阶段的工作峰值显存、阶段耗时、吞吐、等待和瓶颈归因性能优化性能优化判断手册 / 测量与诊断实验记录
数据解析、血缘、去重或污染无法解释选一条异常记录回溯原始来源与转换规则,按登记版本重算输入和完整样本指纹,再核对其训练、验证及测试切分成员来源许可、处理版本、样本身份、污染和质量记录数据生命周期与契约、清洗与质量链Part 02 · 32 数据准入

Released under the MIT License.