Skip to content

02 清洗、去重与质量证据链 ​

学习问题 ​

清洗不是把文本变短,而是用可复查规则去除无法服务下游任务的内容,并保留“为什么删掉或保留”的证据。质量规则只有在独立评测或下游训练/RAG 结果中得到验证,才值得继续使用。

不同处理层分别缩小什么风险 ​

层要处理的风险常见方法必须保存的证据
规范化空值、乱码、HTML 残留、编码或格式异常解码修复、正文抽取、长度与字符规则原始状态、规则版本与变更原因
精确与近似去重完全重复、模板重复、轻微改写哈希、指纹、相似度阈值重复组、代表样本与阈值
质量过滤垃圾内容、低信息密度、格式错误启发式、分类器、抽样复核质量分数、阈值、过滤理由与抽样结果
去污染与切分评测泄漏、同源近重复与未来信息与评测集匹配、来源或时间隔离数据切分、匹配规则与例外处理

清洗、去重、质量过滤与评测隔离形成证据链

质量判断契约 ​

问题不能只看什么还要检查什么
样本是否干净是否通过单一正则解析状态、语言、长度、格式与人工抽样
去重是否有效删除比例重复组、语义近似、长尾样本是否被误删
质量分数是否可信分类器分数或困惑度下游质量、误删率与跨来源稳定性
评测是否可信测试集准确率训练/评测隔离、泄漏检查与版本记录

评测数据怎样保持独立 ​

评测集进入模型比较前,也要经过身份、污染和切片检查。这里固定的是“用哪些样本比较”,不是“采用哪一种指标”:评分器是否可靠、质量是否提升和候选是否采用,仍由下游评测协议判断。

检查对象必须固定的内容失败证据与处理
数据身份数据集 ID、版本、来源、冻结时间与样本指纹身份缺失时停止跨运行比较
切分关系训练集、验证集、测试集、外部基准与在线反馈池记录精确重复、近似重复、同源和时间穿越命中
输入协议提示模板、分词器、上下文拼接与最大长度协议变化时建立新评测快照,不沿用旧分数
评测切片任务、领域、语言、长度、难度与安全类别保存每个切片的样本 ID、数量与覆盖缺口
失败样本无法解析、截断、评分失败、冲突标注与无法判定单独登记失败状态,不静默丢弃或记为零分

基线与候选必须读取同一评测快照。样本、切分、模板或过滤规则任一变化,都要生成新版本并重新计算双方结果;否则分数变化无法归因于模型变化。

质量规则怎样接受下游验证 ​

需要补的能力入口本页如何使用
SFT 数据与质量项目Part 02 · 32 SFT 数据准入与长度审计、Part 02 · 64 数据质量项目将质量规则连接到训练样本与独立验证
偏好数据与评测隔离Part 02 · 50 偏好数据与评测处理优选/拒选回答质量、标注一致性、评测快照与泄漏
后训练项目后训练优化用下游质量与失败案例验证过滤规则

什么时候可以接受一条质量规则 ​

只有清洗规则、重复关系、质量分数、抽样复核、评测快照、污染命中和下游结果能够回查到同一数据版本时,质量规则才具备采用条件。被污染或处理结果不稳定的数据不能进入配比实验。

Released under the MIT License.