数据工程判断手册
这份手册按数据症状选择排查方向，不替代 Task0–6 的顺序学习。先确认来源、版本和消费者，再判断问题位于解析、质量、配比、训练接口还是下游服务。
统一判断链是：
text
现象 → 数据对象 → 处理证据 → 下游验证 → accept / tune / reject| 现象 | 优先检查 | 常见原因 | 验证出口 |
|---|---|---|---|
| 文件可读取但训练或检索结果异常 | 内容类型、结构与解析状态 | 表格、顺序、OCR 文本或语言识别丢失 | 01 采集、解析与来源契约 |
| 去重后数据显著变少 | duplicate group、阈值与长尾覆盖 | 模板误判、近似阈值过强、同源内容被误删 | 02 清洗、去重与质量证据链 |
| 训练结果很好但独立评测失真 | split、来源、时间与相似样本 | 评测泄漏、污染或重复数据 | 02 清洗、去重与质量证据链 |
| loss 下降但目标能力没有提升 | schema、labels、数据配比与评测协议 | 模板错误、样本单一、任务与评测不匹配 | 05 后训练数据接口与诊断 |
| 领域能力提高、通用能力回退 | 来源/长度/难度比例与采样 | 数据配方失衡、课程顺序不合适 | 03 数据配比与课程学习 |
| RAG 回答不可靠 | 文档结构、chunk、元数据与索引输入 | 解析不完整、切分破坏语义、知识版本陈旧 | 00 数据生命周期与消费者契约 → 推理优化 |
| 训练吞吐不稳定 | 长度、packing、DataLoader 与 H2D 阶段 | 输入分布变化、batch 准备或搬运等待 | 03 数据配比与课程学习 → 性能优化 |
证据层级
| 证据 | 可以确认什么 | 不能单独确认什么 |
|---|---|---|
| 规则与 schema 测试 | 字段、解析路由、去重与切分逻辑 | 数据质量或模型能力提升 |
| 人工抽样与失败样本 | 规则的明显误删、漏删与结构损失 | 全量分布是否改善 |
| 独立训练 / RAG 对照 | 当前数据版本的下游影响 | 其他来源或场景的普遍结论 |
| 可复现流水线记录 | 来源、版本、规则和运行过程可回放 | 规则本身一定优于其他候选 |