Skip to content

05 后训练数据接口与诊断 ​

学习问题 ​

后训练数据不是“文本拼成 JSONL”即可使用。SFT、偏好和推理数据共享来源、版本、去污染与评测隔离,但监督信号、格式契约和失败模式不同。本页将上游数据处理连接到训练可消费的接口与独立质量验证。

三类监督信号需要什么数据接口 ​

数据类型最小对象核心契约主要风险
SFTprompt / messages、response、labels对话模板与标签掩码对齐;不训练无关词元模板错位、答案截断、重复指令
偏好prompt、chosen、rejected同一上下文下的可比较候选;偏好来源可追溯候选质量接近、标注不一致、泄漏
推理过程问题、过程、答案、验证信号过程粒度可解释,结果可由规则或独立评测核验过程伪造、答案泄漏、只拟合表面格式

同一数据身份分流为三类后训练接口

训练前的最小检查 ​

检查需要确认失败时的处理
字段结构必填字段、类型、消息顺序与模板拒绝写入训练集,保留失败原因
分词器与标签截断、特殊词元、损失掩码与目标词元用小批样本逐项检查标签对齐
数据切分与去污染训练、验证、测试与外部基准隔离记录匹配规则、重复组和例外
数据分布领域、长度、语言、难度与安全类别调整配比或补充缺失样本
下游质量独立任务、行为回归与人工失败样本不以训练损失单独接受数据版本

评测数据如何交给后训练决策 ​

后训练项目不能只接收一个测试文件路径。数据侧需要交付冻结快照、输入协议、切片和失败样本,使 SFT、DPO、PPO 或 GRPO 候选能够在相同输入条件下复测。

交付对象数据工程需要提供后训练侧据此判断
冻结评测快照数据版本、冻结时间、样本 ID 与内容指纹基线与候选是否比较同一批样本
污染报告与训练、偏好、轨迹和调参样本的精确 / 近似命中当前评测是否仍可作为独立证据
输入协议提示或对话模板、分词器、上下文与截断规则输入变化是否被误判为模型变化
切片清单任务、语言、长度、难度、安全类别及样本数量总体均值是否掩盖局部退化
失败样本集解析失败、截断、评分冲突、超时与无法判定状态失败是否触发补数、复评或拒绝候选

质量指标、评审器一致性、安全门槛和 accept / tune / reject 由后训练独立评测与采用决策处理;数据接口保证这些判断读取的是同一份、未污染且可追溯的输入。

“假学会”如何诊断 ​

训练损失下降只说明模型更能拟合当前标签。若独立任务没有提升、输出模板看似正确但事实或工具结果错误,先检查数据泄漏、模板、标签范围、重复样本和评测覆盖,而不是先提高训练步数。

观察到的现象数据工程优先检查后训练侧继续验证
训练损失很低、验证无提升重复、污染、切分与标签对齐独立评测与行为回归
格式正确、内容质量差指令/答案质量与任务配比SFT 配置与模型能力边界
偏好训练不稳定优选与拒选回答的可比性及标注一致性β、参考模型与目标函数
推理过程冗长但答案错误过程验证、结果验证与长度偏差奖励与评审器设计

数据版本何时可以进入训练比较 ​

一份 SFT、偏好或推理数据集需要同时提供字段结构、样本版本、污染检查、标签检查、分布摘要、冻结评测快照和失败样本记录。后训练优化在这些输入固定后比较训练候选;质量指标、评审器一致性和采用门槛由独立评测与采用决策统一检查。

Released under the MIT License.