Skip to content

数据工程(Data Engineering) ​

专题类型:横向工程专题 学习目标:让训练、检索与评测使用可追溯、可复查的数据。

数据工程不是后训练的附属步骤。训练数据、检索增强生成(RAG)语料与线上知识库都要经历采集、解析、清洗、去重、质量评估、版本治理和格式转换;它们只在消费阶段进入不同路径:微调关心样本格式与配比,检索关心切块、富化与索引,性能工程关心长度分布、数据加载和 I/O 等待。

本专题负责数据身份、处理规则、血缘和质量证据。后训练优化根据这些输入选择训练路线,性能优化判断数据路径是否成为瓶颈,推理优化验证检索数据对请求质量和服务成本的影响。

学习路线 ​

先建立“来源—版本—处理—切分—消费者”的数据身份,再按问题进入清洗、配比、合成或后训练接口。评测集隔离和下游复测贯穿整条路线,不能等训练结束后再补。

Task / 主题本阶段要回答的问题学习入口与验证出口学习顺序主要正文入口
Task0 · 数据生命周期与消费者一份数据怎样从来源、版本和处理规则流向预训练、后训练与检索?核心:Part 00 · 04 配置与数据入口、Part 02 · 32 SFT 数据准入来源身份 → 数据版本 → 消费者契约00 数据生命周期与消费者契约
Task1 · 采集、解析与来源契约异构文件怎样变成保留来源和失败状态的统一记录?核心:Part 00 · 04 配置与数据入口内容检测 → 解析路由 → 失败留存01 采集、解析与来源契约
Task2 · 清洗、去重与质量过滤样本怎样在不污染独立评测的前提下通过质量准入?核心:Part 02 · 32 SFT 数据准入、Part 02 · 50 偏好数据与评测清洗 → 去重 → 去污染 → 评测快照02 清洗、去重与质量证据链
Task3 · 数据配比与难度递进来源、长度、难度与长尾样本怎样形成可消融的数据配方?核心:Part 02 · 30 长上下文微调、Part 02 · 33 微调准入固定数据池 → 配比候选 → 下游消融03 数据配比与难度递进
Task4 · 合成数据与轨迹验证生成样本怎样通过来源、相似度、污染、规则、执行结果和独立复核后进入数据池?核心:Part 02 · PT-SYNTHETIC-DATA 合成指令生成与验证准入;偏好扩展:Part 02 · 50 偏好数据与评测;轨迹扩展:智能体 · 01 轨迹数据与验证任务蓝图 → 候选生成 → 相似度与污染筛查 → 验证分流 → 版本冻结04 合成数据与轨迹验证
Task5 · 后训练数据接口同一来源怎样转换为 SFT、偏好与强化学习数据而不丢失身份?核心:Part 02 · 13 SFT 监督边界与损失、Part 02 · 15 SFT 有效更新与训练闭环合格样本 → 监督接口 → 偏好/轨迹接口 → 失败切片05 后训练数据接口与诊断
Task6 · 流水线与下游验证数据变更怎样可重放、可审计,并由下游对照决定是否采用?项目:Part 02 · 64 SFT 数据质量项目、Part 05 · 后训练交付综合项目变更清单 → 增量执行 → 下游复测 → 采用或回滚06 流水线血缘与下游验证

数据工程学习路线:从来源身份到下游采用

数据工程知识地图:对象、规则、消费者与证据

扩展与跨专题入口 ​

使用场景建议路径数据工程提供的证据下游专题作出的判断
SFT 或偏好数据Task0 → Task2 → Task3 → Task5 → Task6样本身份、切分、污染检查、配比与数据版本后训练优化判断训练、对齐和交付是否可信
RAG 语料Task0 → Task1 → Task2解析结果、切块输入、来源与质量记录RAG 任务按固定查询集检查召回与回答质量;推理优化分析模型请求执行,性能优化比较全链路延迟与资源成本
训练输入性能Task0 → Task2 → Task3词元长度、打包、预处理和 I/O 记录性能优化判断等待是否位于关键路径
合成或工具轨迹数据Task0 → Task4 → Task6任务蓝图、候选轨迹、执行反馈和验证状态智能体基础设施判断工具使用和任务闭环是否有效

模型评测与数据工程共享评测样本,但职责不同。数据工程保证样本身份、切分隔离、污染检查、切片字段和失败样本可追溯;模型评测负责计算质量、安全与鲁棒性指标,并比较基线和候选。数据质量通过不能替代模型采用判断,模型分数变化也不能反向证明数据处理正确。

按需回补入口:

实验与项目出口 ​

验证层级运行条件可以确认的结论不能替代的证据
CPU 机制Python、PyTorch 或分词器替身字段、解析路由、去重、切分、长度和规则逻辑真实训练收益与服务质量
单卡训练Transformers、Datasets、PEFT打包、数据加载、训练格式与局部质量变化多卡吞吐与生产稳定性
检索与服务检索组件和推理后端文档处理对召回、延迟、成本和失败样本的影响训练候选的采用判断
工程化项目数据版本库、编排器和观测工具数据血缘、增量运行、失败恢复与可复现交付未固定数据版本时的跨运行比较

任何“数据更好”的结论都必须对应固定数据版本、独立评测集和下游复测。缺少其中任一项时,只能保留为待验证候选。

Released under the MIT License.