Skip to content

智能体任务判断手册 ​

使用本表前先固定任务集合、成功条件、最大步数、模型版本、工具版本、沙盒规则和评测协议。每条记录至少包含任务 ID、轨迹 ID、步骤、动作、工具参数、环境观察、状态变化、耗时和终止原因。

从可观察现象开始,先采集“最小证据”,再进入相应机制;不要用最终回答文本猜测工具是否真实执行。

现象或目标先检查什么最小证据机制入口验证或转交入口
最终回答合理,但外部状态没有变化工具是否执行、返回状态和副作用工具调用、退出状态、执行日志与状态差异00 工作负载与执行链02 沙盒与执行环境
工具名称正确但参数反复无效工具契约、参数类型和观察反馈工具 schema、实际参数、校验错误与重试动作02 沙盒与执行环境01 轨迹数据与验证
任务陷入重复调用或无效循环状态更新、终止条件和上下文内容连续步骤、观察摘要、重复动作与步数上限00 工作负载与执行链推理优化
相同任务复测结果不同模型采样、工具版本、环境状态和重置策略随机种子、模型与工具版本、环境快照和初始状态02 沙盒与执行环境部署与异构
成功轨迹很多,但训练后任务能力没有提升轨迹覆盖、失败样本和训练/评测隔离数据来源、去重结果、失败类型与冻结评测01 轨迹数据与验证数据工程
完成率提高但延迟或成本失控模型、工具、沙盒和重试的暴露时间同一任务的阶段时间、词元、工具次数与资源用量00 工作负载与执行链性能优化
调度吞吐提高但单任务超时增多就绪条件、公平性和长工具等待队列事件、任务年龄、工具等待与超时分布推理优化Part 02 · 70 服务调度
奖励上升但任务成功率没有提高奖励分量与环境终态是否一致奖励分解、终态验证、失败切片和独立评测后训练优化Part 02 · PT-REWARD-SIGNAL
旧策略轨迹进入当前更新后结果不稳定策略版本、轨迹新鲜度和消费状态策略哈希、生成版本、奖励版本与消费记录后训练优化 · 轨迹生命周期Part 02 · PT-ROLLOUT-LIFECYCLE
需要比较 MCP、函数调用或业务 API能力、参数约束、失败状态和运行成本同一任务上的工具契约、成功率、延迟与错误分布00 工作负载与执行链Part 05 综合项目

Released under the MIT License.