Skip to content

数据工程判断手册 ​

先固定数据版本、消费者和异常样本,再沿表格定位首个需要检查的对象。最小证据必须来自同一次数据运行;没有下游对照时,只能判断结构或规则是否通过,不能宣称模型或检索质量提高。

现象或目标先检查什么最小证据机制入口验证或转交入口
文件可读取但训练或检索结果异常内容类型与解析状态来源身份、解析器版本、结构化输出、失败样本01 采集、解析与来源契约用人工抽样或下游失败文档复核解析结果
去重后数据显著变少重复组与相似阈值被合并样本、组大小分布、误删抽样02 清洗、去重与质量证据链调整阈值后重跑独立质量集
训练结果很好但独立评测失真切分来源与跨集合相似样本数据版本、评测快照、污染报告02 清洗、去重与质量证据链Part 02 · 64 SFT 数据质量项目
领域能力提高、通用能力回退来源、长度和难度配比配方版本、各桶样本数、能力切片结果03 数据配比与难度递进固定训练配置后做配方消融
合成样本流畅但无法确认正确成功条件与验证路径生成身份、规则或执行日志、拒绝原因04 合成数据与轨迹验证工具轨迹转交智能体轨迹数据与验证
训练损失下降但目标能力没有提升标签范围与监督接口输入字段、有效监督词元、失败切片05 后训练数据接口与诊断后训练优化复测候选能力
RAG 回答不可靠文档结构、切块与知识版本解析记录、切块身份、检索失败样本00 数据生命周期与消费者契约推理优化验证召回、延迟和回答质量
训练吞吐不稳定长度分布、打包和数据就绪时间批次长度、等待时间、主机—设备搬运记录03 数据配比与难度递进性能优化定位关键路径
增量运行后结果无法复现输入—规则—输出三元组输入快照、规则版本、输出校验和、失败记录06 流水线血缘与下游验证重放受影响对象,并与上一数据版本做下游对照

Released under the MIT License.