Skip to content

06 流水线血缘与下游验证 ​

数据流水线的交付物不是一份最新文件,而是一次可重放的变更:输入版本、处理规则、输出分片、失败记录和下游比较必须能够对应到同一运行身份。

数据变更从输入快照流向下游采用判断

运行身份怎样连接输入、规则和输出 ​

每次运行固定输入快照、代码或规则版本、配置摘要和随机种子,并为输出分片记录校验和。增量运行还要保存新增、更新、删除和未处理对象的清单,避免“只处理了部分数据”被误认为完整版本。

记录对象最小字段用途
输入快照来源版本、对象数量、校验和确认比较从哪批数据开始
处理规则规则版本、参数、依赖环境重放解析、过滤和配比决策
输出产物分片、样本数、校验和、消费者确认训练或检索实际读取的版本
失败记录对象身份、阶段、原因、重试状态区分数据缺失与规则拒绝

增量执行怎样保持结果一致 ​

增量执行只跳过输入和规则均未变化的对象。解析器、去重阈值、模板或切分规则改变时,受影响对象必须重新计算;失败重试不能覆盖原始错误。通过输入—规则—输出三元组判断缓存命中,比只看文件名或修改时间更可靠。

下游对照怎样决定采用或回滚 ​

数据版本必须进入至少一个真实消费者对照:训练数据看独立质量和能力回归,检索数据看召回、回答质量和失败文档,输入流水线看吞吐与等待。只通过结构校验的版本可以继续验证,但不能直接采用。

结构、质量与运行成本共同决定数据版本去留

判断必须满足的条件动作
采用身份完整、规则通过、下游质量达标且成本可接受发布数据版本和消费者清单
调整方向有效,但失败切片、配比或运行成本仍超出目标保留证据并生成新候选版本
拒绝污染、质量退化、不可重放或消费者契约不兼容回滚到上一版本并冻结失败记录

从数据版本进入项目交付 ​

Part 02 · 64 SFT 数据质量项目检查既定训练数据能否使用;Part 05 · MiniMind 后训练项目独立生成并固定自己的训练与评测数据,比较全参数 SFT、LoRA 与后续 DPO。两者可用于学习数据检查与下游比较,不是直接传递数据文件的同一条流水线。检索或性能任务应分别保留输入版本,并采用各自的质量和成本指标。

Released under the MIT License.