后训练优化(Post-Training Optimization)
专题类型:主学习路线 学习目标:选择训练信号与更新方法,并判断模型是否值得采用。
后训练利用监督数据、偏好反馈、可验证奖励或教师反馈改变模型行为。学习者从已有失败和数据条件出发,选择监督、偏好、在线奖励或独立学生训练,并用独立评测检查能力收益、资源代价和回滚条件。
学习路线
首次学习按下表选择分支;连续理解数据、更新与评测的关系时阅读后训练问题链,排查已有结果时使用判断手册。术语和公式分别查询术语表与公式索引。
监督目标、参数方案与学生分支怎样连接
Task1 确定样本和标签,Task2 确定更新范围;首次实践先选能在预算内运行的参数方案,不必完成全部变体选型。03 训练控制将两者汇合,可结合Part 02 · 15 SFT 有效更新与训练闭环核对实际更新,再按04 基线与交付检查重载和恢复。满足任务要求的基线可直接进入 Task6;已有合适指令模型也可先复测,再根据剩余失败选择 Task3 或 Task4。
Task4 先用06 奖励、价值与 PPO区分奖励和优势,选择组内方法时再读07 GRPO / RLOO。Task5 先在08 轨迹生命周期跟踪一条轨迹的准入与提交,再到09 执行系统观察队列、资源竞争和权重同步;Task3 的离线候选可直接评测,持续采样的在线偏好分支则同样需要这些状态管理。
需要迁移教师能力时,从 Part 02 · DISTILL-OPD理解固定轨迹与学生在策略轨迹,再进入 Part 02 · 88 蒸馏学生交付比较训练路线。该分支从共同学生起点出发,与偏好和奖励分支一样进入独立评测,不要求先完成 DPO 或 GRPO。
扩展与跨专题入口
训练目标需要通过反向传播形成参数更新;训练数据、工具环境与部署执行也分别影响样本有效性和最终成本。按当前缺少的输入或观察选择下表入口。
| 需要补齐的内容 | 首选入口 | 带回后训练的观察或产物 |
|---|---|---|
| 损失归约、梯度、有效更新与恢复 | 反向传播与训练机制 | 有效监督数、参数梯度、更新步、检查点与状态峰值 |
| 来源、清洗、合成验证与切分 | 数据工程 / 后训练数据接口 | 数据版本、去重与污染检查、样本来源和切分清单 |
| 训练峰值、采样吞吐与阶段等待 | 性能分析 / 性能优化 | 时间线、同时驻留的对象、配对测量与资源代价 |
| QLoRA、学生压缩与部署格式 | 量化与压缩 / 蒸馏与结构压缩 | 低比特执行路径、学生产物、质量保持与部署成本 |
| 多卡状态切分与通信 | 通信与并行 | 并行配置、通信等待、状态分片和恢复记录 |
| 工具调用、轨迹回放与沙盒权限 | Agent 工作负载 / 轨迹数据 / 沙盒环境 | 环境版本、模型动作、工具观察、重试和终止记录 |
实验与项目出口
按Quickstart选择和检查环境,再用实验资产表查找固定输入、正式结果和复现顺序。环境隔离关系查询环境资产索引;实际版本、硬件和运行状态由结果 JSON 记录。
| 验证阶段 | 要回答的问题 | 实验与输出 |
|---|---|---|
| CPU 机制与框架核对 | 数据、目标、适配器和状态计算是否符合定义? | Step 4 题目与测试;标明 PT-CPU 的框架一致性核对 |
| 单卡训练机制 | 真实参数更新、奖励信号、长度处理与资源代价是否符合预期? | PT-SFT-CUDA、PT-RL-CUDA 或 Q-QLORA 的独立结果 |
| 单卡轨迹与执行系统 | 旧轨迹重评、权重同步和阶段状态能否对应? | PT-VERL-CUDA 的共享机制记录;多工作进程扩展另行验证 |
| 训练项目 | 数据与参数方案能否形成可恢复、可评测的模型? | 数据准入与参数选型 → SFT 交付;继续优化时选择离线偏好或在线奖励项目,再检查生命周期与交接。各分支输入见实验资产表 |
| 独立学生分支 | 固定轨迹或学生在策略蒸馏能否同时满足质量和成本要求? | DISTILL-OPD → Part 02 · 88;记录学生起点、路线、质量与交付判断 |
| 独立端到端训练 | 自行准备的数据和训练预算能否支撑可复现的 SFT、LoRA、DPO 对照? | Part 05 · 02 MiniMind 后训练项目从固定基座与本地数据开始,用 PT-SFT-CUDA 训练和评测;不读取 Part 02 · 86 或 88 的结果 |
