06 项目决策与交付

页面目标

这一页把 02-05 的方法、数据和评测重新收束成项目决策问题：

本页的输出是可交付判断：明确采用、调优或回退，并说明方法、数据、质量、系统成本和后续验证之间的证据关系。 什么时候值得 adopt，什么时候只是继续 tune，什么时候应该 reject。

问题起点

项目页真正需要的不是“我学了哪种方法”，而是：

• 当前数据形态适合哪条路线？
• 训练和系统代价是否值得？
• 评测是否真的支持结果更优？
• 最终项目交付该给出什么结论？

决策框架

可以按下面四步判断：

1. 先看前置是否满足
   SFT / LoRA 基线是否稳定，偏好数据是否可用。
2. 再看方法是否匹配
   是 pairwise preference，还是 group-wise candidate comparison。
3. 再看评测是否一致
   指标是否真的反映对齐收益。
4. 最后给出结论
   adopt / tune / reject，而不是只报 loss。

离线到在线的收口链

如果把 Part 02 的项目页接回这个专题，最自然的顺序是：

84 DPO Preference Project -> 85 GRPO Groupwise Alignment Project -> 86 DPO Online Benchmark

• 84 负责验证离线 pairwise preference 是否已经形成可信的 DPO 收益。
• 85 负责验证 group-wise 候选比较是否真的比 baseline 更稳。
• 86 负责把离线结论推进到在线更新场景，判断收益、代价和安全阈值能否同时成立。

也就是说，这一页不是替代项目页，而是把三类项目页放回同一套决策坐标里。

项目页对应

项目页	你要确认什么
84 DPO Preference Project	preference pair、reference 口径、评测结果是否支持采用 DPO
85 GRPO Groupwise Alignment Project	候选组构造、group-wise 结果和评测是否支持采用 GRPO
86 DPO Online Benchmark	在线收益、更新时延、稳定性和安全阈值是否支持进入正式闭环

决策口径对照

决策	什么时候给出	下一步优先做什么
accept	baseline 合法，candidate 在核心指标上形成稳定增益	进入更长训练、更多数据或在线验证
tune	已有局部收益，但数据、波动或代价边界还不够稳	先回数据模板、奖励设计、beta、更新频率等关键旋钮
reject	比较口径不合法，或 candidate 没有形成可信增益	先回前置审计，而不是继续堆训练

可视化入口

正文暂不嵌入未审核图示；相关图册与占位说明见 视觉资产页。

常见失败模式

• 方法选对了，但数据质量不足，结果不稳。
• 指标提升了，但无法解释是否真是偏好收益。
• 离线结论看起来不错，但一到在线更新就被时延、波动或安全阈值打回。
• 项目页有很多实验表，却没有明确 adopt / tune / reject 结论。

对齐冲突与上线阈值

52 Alignment Conflicts and Thresholds 的内容在这里收口，不再作为独立算法页。它负责把 50 的评测协议、51 的在线反馈和 84–86 的项目结果放进同一套上线判断。

需要同时观察的指标

• helpfulness / correctness：任务是否完成、答案是否正确；
• safety / refusal：风险请求是否按规则处理，是否出现过度拒答；
• robustness：提示改写、分布变化和边界样本下是否保持行为；
• judge consistency：评测者、judge 版本和人工抽检是否给出一致方向；
• 资源与系统代价：训练成本、推理延迟、吞吐和在线更新风险。

常见冲突与判断方式

观察到的变化	不能直接推出什么	下一步检查
win-rate 上升，safety 下降	不能直接 accept	回看安全集、失败案例和最低安全阈值
格式遵循变好，任务正确率下降	不能把格式稳定当作能力提升	分开统计格式、正确性和拒答指标
reward 上升，独立评测不变	不能把 reward 当作真实能力	检查 verifier / judge 是否过窄或被投机
离线指标变好，在线延迟或波动变差	不能直接进入生产	检查更新时延、policy freshness 和回滚条件

决策规则

1. 先检查 baseline、数据切分、judge/verifier 版本和评测集隔离是否成立。
2. 核心质量指标形成稳定增益，且安全、鲁棒性和成本没有越过硬约束，才考虑 accept。
3. 局部指标有收益但存在数据、波动、成本或安全疑点时，输出 tune，并明确下一步旋钮。
4. 比较口径不合法、核心质量没有增益，或安全阈值被突破时，输出 reject 或回退到前置数据审计。

这部分不是新的 loss 教程，而是项目报告最后的决策层。84、85、86 的报告都应至少保留指标快照、冲突类型、失败样本、阈值、证据等级和最终 accept / tune / reject。

对应 Part 02

• 84 DPO Preference Project
• 85 GRPO Groupwise Alignment Project
• 86 DPO Online Benchmark
• 前置回跳：15 / 16 / 50
• 专题入口回跳：后训练优化入口

文献锚点

• DPO / GRPO 项目化实践资料。
• 对齐 benchmark 报告与项目采用标准说明。

项目结论

后训练专题真正的收口，不是“我知道几个方法”，而是“我能把 84 / 85 / 86 这类项目页放回同一套方法、数据、评测和交付坐标里，给出可执行的 adopt / tune / reject 判断”。

回到项目

将结论回填到 84 DPO 偏好项目 -> 85 GRPO 组内对齐项目 -> 86 在线 DPO benchmark。离线质量提升但系统成本或在线链路不可接受时，应保留为 tune，而不是直接 accept。