05 后训练数据接口与诊断

页面目标

后训练数据不是“文本拼成 JSONL”即可使用。SFT、偏好和推理数据共享来源、版本、去污染与评测隔离，但监督信号、格式契约和失败模式不同。本页将上游数据处理连接到训练可消费的接口与独立质量验证。

三类训练接口

数据类型	最小对象	核心契约	主要风险
SFT	prompt / messages、response、labels	chat template 与 label mask 对齐；不训练无关 token	模板错位、答案截断、重复指令
偏好	prompt、chosen、rejected	同一上下文下的可比较候选；偏好来源可追溯	候选质量接近、标注不一致、泄漏
推理 / CoT	问题、过程、答案、验证信号	过程粒度可解释，结果可由规则或独立评测核验	过程伪造、答案泄漏、只拟合表面格式

训练前的最小检查

检查	需要确认	失败时的处理
schema	必填字段、类型、消息顺序与 template	拒绝写入训练集，保留失败原因
tokenizer / labels	截断、特殊 token、loss mask 与目标 token	用小批样本逐项检查 label 对齐
split / 去污染	训练、验证、测试与外部 benchmark 隔离	记录匹配规则、重复组和例外
数据分布	领域、长度、语言、难度与安全类别	回到 Task3 调整配比或补样本
下游质量	独立任务、行为回归与人工失败样本	不以训练 loss 单独接受数据版本

“假学会”如何诊断

训练 loss 下降只说明模型更能拟合当前 labels。若独立任务没有提升、输出模板看似正确但事实或工具结果错误，先检查数据泄漏、template、标签范围、重复样本和评测覆盖，而不是先提高训练步数。

观察到的现象	数据工程优先检查	后训练侧继续验证
loss 很低、验证无提升	重复、污染、切分与标签对齐	独立评测与行为回归
格式正确、内容质量差	指令/答案质量与任务配比	SFT 配置与模型能力边界
偏好训练不稳定	chosen/rejected 可比性与标注一致性	β、reference 与目标函数
推理过程冗长但答案错误	过程验证、结果验证与长度偏差	reward / evaluator 设计

连接到现有路线

后训练优化负责 SFT、偏好优化、RL 与评测决策；Part02 · 09、13、32、50、62、64、84–86 承担训练与项目验证。本页只定义数据接口、隔离与诊断证据，不替代训练算法或奖励设计。

交付物

完成本页后，应能为一份 SFT、偏好或推理数据集给出 schema、样本版本、污染检查、labels 检查、分布摘要、独立评测和失败样本记录。