10 · 独立评测、能力回归与采用决策

训练损失或奖励改善以后，怎样决定保留哪个模型？先确认训练正确性，再用冻结任务与评分协议比较质量、安全和资源代价。能力提升实验要求达到预设增益；学生压缩实验允许在事先规定的质量容差内降低部署成本。

固定共同门槛与专项证据

先确定必须满足的质量与安全要求，再检查资源和失败样本。量化、通信与部署等交叉实验还要补充执行格式、设备、后端或恢复证据，不能用单一任务总分覆盖这些条件。

评测对象	需要回答的问题	常见误判
有用性与正确性	候选是否真正完成目标任务	用格式改善代替正确性
通用能力保持	目标能力提高时，原有能力是否退化	只测试本次训练任务
安全与拒答	是否满足安全要求且不过度拒答	只统计拒答率
鲁棒性	输入改写、长度或分布变化后是否稳定	只使用训练同分布样本
评审一致性	模型评审器、人工抽检与验证器是否同向	把单一评审器当作真值
资源与失败	延迟、显存、成本、失败率和恢复是否可接受	忽略训练与服务系统代价

评测协议怎样保持独立

先冻结数据、解码与评分规则，再比较相同任务的基线和候选。模型评审器、人工抽检与规则验证器意见不一致时，保留分歧样本并复核原因；按任务、长度、语言或安全类别分组检查失败，避免总体均值掩盖局部退化。

固定项	要避免的问题	最小记录
基线 / 候选身份	父模型或学生起点意外变化，教师身份不明	模型版本、父检查点、分词器；蒸馏额外记录教师与共同学生起点
评测集	训练、在线反馈或调参样本污染评测	数据版本、冻结时间、去污染规则与命中记录
解码与评分协议	参数或评分器变化被误当作模型提升	解码配置、评审器 / 验证器版本、评分规则与抽检
失败切片	总体均值掩盖关键能力退化	任务、长度、语言、安全类别和高成本样本结果
采用与回滚门槛	指标变差后仍继续更新或上线	质量、安全、资源阈值与已验证回滚点

不同训练分支怎样选择比较对象

先确定要验证的是任务能力提升还是部署成本降低，再选参照模型。蒸馏中，未训练学生用于判断训练是否有效，教师用于判断能力保持程度；两种比较分别报告。各路线采用相同学生起点、冻结任务和评分规则，并分别记录数据、轨迹来源与训练剂量，避免把额外训练量误认为路线优势。

分支	基线与候选	专项检查	学习与验证入口
SFT	更新前模型与监督训练产物	有效监督、更新范围、独立任务增益与保存后重载	SFT 训练交付
偏好 / 在线奖励优化	共同 SFT 基线与 DPO、GRPO 等候选	偏好或奖励变化是否伴随真实任务改善；策略版本、恢复点与回滚状态是否完整	DPO 项目 / GRPO 项目 → 生命周期与恢复
独立学生蒸馏	共同未训练学生与各蒸馏候选；另以冻结教师衡量质量保持	固定轨迹与学生在线轨迹的来源、教师反馈、回答截断与格式；学生相对教师的质量差距、产物大小和同任务部署成本	在策略蒸馏与 GKD → 蒸馏学生交付

怎样输出采用决策

结论同时保留基线、候选、评测集版本、评分协议、运行环境、专项指标和失败样本。蒸馏采用的质量容差与最低资源收益在实验前固定；开发集用于调参，按协议使用独立验证集筛选，最终留出集在候选冻结并满足准入要求后使用。

决策	成立条件	后续动作
accept	达到预设能力增益，或在质量容差内达到压缩收益；能力保持、安全与资源门槛通过，产物和恢复清单完整	登记候选版本、适用范围和回滚点
tune	目标方向有效，但数据、奖励、配置、成本或波动仍存在可修复问题	固定问题切片，只修改一个候选因素后复测
reject	比较无效、未达到必须满足的质量要求，或触发安全、资源硬约束	保留原基线并记录失败证据

从分支判断进入交付

各分支先登记采用、继续调整或终止的判断，结果与可交接状态见实验资产表。后训练交付综合项目读取生命周期清单，对 SFT 基线及 DPO、GRPO 候选进行冻结复测；蒸馏学生使用独立交付判断，接入综合项目还需相应的输入适配和交接检查。