Skip to content

01 Agent 轨迹数据与验证 ​

页面目标 ​

Agent 数据不是单个 prompt → response 样本,而是可回放的“目标 → 多步动作 → 工具反馈 → 终止结果”。训练或评估所用轨迹必须同时保留动作依据和环境反馈,否则模型只会模仿表面文本,无法学会何时调用工具、何时修正或何时停止。

核心机制:任务蓝图到可用轨迹 ​

阶段产生什么最小字段质量问题
任务蓝图可执行目标与约束task_id、goal、initial_state、success_rule目标模糊或不可完成
候选轨迹多条模型动作路径step、thought/plan、tool_call、tool_args只保留成功样本导致分布失真
环境反馈工具真实或受控的返回observation、latency、status、side_effect模拟反馈与真实工具不一致
验证与标注可训练或可评测的轨迹verifier、outcome、error_type、quality_label成功结果掩盖危险或低效路径

任务蓝图、候选轨迹与验证数据

数据契约:同时保存行为与结果 ​

字段组至少包含用途
可追溯输入task、数据来源、工具版本、环境版本回放相同任务
每步动作step、调用工具、参数、模型输出与时间识别无效循环、错误调用与长轨迹
环境证据observation、退出码、文件/状态变化、超时判断动作是否真正生效
质量标签成功、部分成功、失败、违规、人工/规则验证区分“答对”与“完成任务”
切分与版本train/eval、数据版本、去污染规则避免同一轨迹泄漏到评测

与数据工程和后训练的关系 ​

数据工程负责来源、去重、版本、质量与血缘;本页补充 Agent 特有的任务状态、工具反馈和轨迹验证。后训练优化负责把合格轨迹转成 SFT、偏好或 RL 训练信号。两者共享评测隔离与数据版本,但不能用模型生成文本替代环境验证。

交付物 ​

完成本页后,应得到一份轨迹数据 schema 和验证规则:至少覆盖成功、工具错误、超时、重复调用和不可恢复失败。下一页把同一 schema 接入隔离环境,保证数据生产和评测使用可复现的工具反馈。

Released under the MIT License.