01 · SFT 数据、监督位置与长样本处理

一条指令—回答样本经过模板和分词后，哪些位置应该进入训练损失？先检查来源和切分，再确定模型能看见哪些词元、需要预测哪些回答。长样本还要确认截断后是否保留了足够的监督。

监督对象如何进入损失

按当前监督方案选择目标位置：常见的仅回答监督会忽略提示、填充和非目标消息，只让目标回答进入损失。注意力掩码控制可见范围，标签掩码控制损失位置；二者需要分别检查，并保留样本来源、去重组、切分和版本。

对象	需要确认的内容	常见失败
数据样本	指令、上下文、目标回答与来源	重复、泄漏、格式不一致
模板与分词器	消息角色、特殊词元与截断规则	训练和推理模板不同
输入与注意力掩码	填充、长度与可见位置	有效位置被遮蔽，或样本间发生非预期关注
标签与损失掩码	监督位置、忽略标记与预测位置偏移	提示、填充或错位词元被计入损失
切分与评测	训练集、验证集与测试集的隔离	用训练样本宣称能力提升

数据质量与配比

数据规模不能代替质量。先把原始样本沿固定流程处理，再用独立验证集确认清洗或配比是否真的改善下游行为。

阶段	最小检查	输出证据
来源与许可	来源、用途、语言和任务范围	数据卡或来源清单
清洗与去重	格式残留、重复、超短样本、近重复	保留 / 删除数量与规则版本
去污染	与验证集、测试集和公开评测集的重叠	隔离规则与命中记录
质量筛选	答案正确性、格式、难度、多样性与安全风险	抽样复核与质量阈值
配比与采样	通用 / 领域、长 / 短、简单 / 困难样本比例	配方、采样权重与消融计划
合成数据	任务可完成性、训练集与批内去重、污染、答案验证和多样性	生成身份、验证结果、拒绝原因与候选数据版本

从合格样本到最小训练基线

任务输入指纹用于发现同题跨切分重叠，完整样本指纹用于发现完全重复。通过检查后，再核对标签、损失和实际更新。比较训练方案时固定模板、分词器、切分、监督范围与评测集；长度或拼接方式是研究变量时，另外记录保留和丢失的监督量。

处理阶段	必需输入	输出证据
数据与泄漏检查	必需字段、任务输入指纹、样本指纹与切分归属	字段齐全且未命中跨切分泄漏的样本
SFT 训练循环	模板、分词结果、标签掩码与有效监督词元	可复算的监督损失
最小训练基线	固定监督批次、更新配置与验证集	更新前后结果、资源记录与最小基线
长上下文扩展	窗口适配、受控截断、监督保留与边界隔离 Packing	长样本覆盖、丢失比例与资源代价

核对数据后进入训练

先用数据与泄漏检查审计样本；示范不足时用合成指令生成与验证准入补充候选，再做最终切分检查。随后用监督边界与损失练习复算损失，发生截断或拼接时追加长样本监督检查。数据与更新范围确定后，进入训练控制；采集、清洗和来源追踪可回查数据工程。