后训练优化（Post-Training Optimization）
专题类型：主学习路线 能力出口：选择训练信号与更新方法，并判断模型是否值得采用
后训练利用监督数据、偏好反馈、可验证奖励或教师反馈改变模型行为。学习者从已有失败和数据条件出发，选择监督、偏好、在线奖励或独立学生训练，并用独立评测检查能力收益、资源代价和回滚条件。
学习路线
首次学习按下表选择分支；连续理解数据、更新与评测的关系时阅读后训练问题链，排查已有结果时使用判断手册。术语和公式分别查询术语表与公式索引。
监督目标、参数方案与学生分支怎样连接
监督数据与损失确定样本和标签，参数适配确定更新范围；两者在训练控制中汇合，再形成可恢复的 SFT 基线。之后依据反馈选择离线偏好、PPO或GRPO / RLOO。持续采样还需检查轨迹状态和执行系统。
需要迁移教师能力时，从 Part 02 · DISTILL-OPD理解固定轨迹与学生在策略轨迹，再进入 Part 02 · 88 蒸馏学生交付比较训练路线。该分支从共同学生起点出发，与偏好和奖励分支一样进入独立评测，不要求先完成 DPO 或 GRPO。
扩展与跨专题入口
训练目标需要通过反向传播形成参数更新；训练数据、工具环境与部署执行也分别影响样本有效性和最终成本。按当前缺少的输入或观察选择下表入口。
| 需要补齐的内容 | 首选入口 | 带回后训练的观察或产物 |
|---|---|---|
| 损失归约、梯度、有效更新与恢复 | 反向传播与训练机制 | 有效监督数、参数梯度、更新步、检查点与状态峰值 |
| 来源、清洗、合成验证与切分 | 数据工程 / 后训练数据接口 | 数据版本、去重与污染检查、样本来源和切分清单 |
| 训练峰值、采样吞吐与阶段等待 | 性能分析 / 性能优化 | 时间线、同时驻留的对象、配对测量与资源代价 |
| QLoRA、学生压缩与部署格式 | 量化与压缩 / 蒸馏与结构压缩 | 低比特执行路径、学生产物、质量保持与部署成本 |
| 多卡状态切分与通信 | 通信与并行 | 并行配置、通信等待、状态分片和恢复记录 |
| 工具调用、轨迹回放与沙盒权限 | Agent 工作负载 / 轨迹数据 / 沙盒环境 | 环境版本、模型动作、工具观察、重试和终止记录 |
实验与项目出口
按Quickstart选择和检查环境，再用实验资产表查找固定输入、正式结果和复现顺序。环境隔离关系查询环境资产索引；实际版本、硬件和运行状态由结果 JSON 记录。
| 验证阶段 | 要回答的问题 | 实验与输出 |
|---|---|---|
| CPU 机制与框架核对 | 数据、目标、适配器和状态计算是否符合定义？ | Step 4 题目与测试；标明 PT-CPU 的框架一致性核对 |
| 单卡训练机制 | 真实参数更新、奖励信号、长度处理与资源代价是否符合预期？ | PT-SFT-CUDA、PT-RL-CUDA 或 Q-QLORA 的独立结果 |
| 单卡轨迹与执行系统 | 旧轨迹重评、权重同步和阶段状态能否对应？ | PT-VERL-CUDA 的共享机制记录；多工作进程扩展另行验证 |
| 训练项目 | 数据与参数方案能否形成可恢复、可评测的模型？ | Part 02 · 64 → 63 / 65 → 62 → 84 / 85 → 86；输入与交接条件见实验资产表 |
| 独立学生分支 | 固定轨迹或学生在策略蒸馏能否同时满足质量和成本要求？ | DISTILL-OPD → Part 02 · 88；记录学生起点、路线、质量与交付判断 |
| 综合交付 | 已交接的候选是否满足冻结评测与回滚要求？ | Part 05 · 后训练交付综合项目读取 Part 02 · 86 清单；蒸馏学生采用独立判断，当前项目不直接接收其结果 |