机器人 Agent
整合与评测 / 第 15 章

设计可比较的机器人实验

匹配条件、做消融,用完整记录解释结果

第 14 章比较了学习模型与解析专家:两者在相同目标位置接受测试,才容易看清差异。本章把这个思路用于整个任务,研究反馈控制为什么能应对抓空和目标移动。

先记住两个词:配对是让不同方法遇到相同场景;消融是在同一个完整方法里移除一项功能,观察结果怎样变化。前者减少“题目不同”的影响,后者帮助定位“哪个部件有用”。

前置要求是理解第 9 章扰动、第 10—11 章记忆,以及技能日志。本实验使用确定性控制器;随机种子改变场景初始化,不是语言模型采样种子,也不是训练神经网络的种子。

本章目标

完成 60 回合的四策略对照,验证初始条件匹配,从原始事件解释失败,并报告样本量限制。最终交付全部回合、分组表和两个机制归因,不只挑选成功案例。

第一步:先看一个小对照

假设第一次抓取失败。有重试的控制器再次抓取,没有重试的控制器立即停止。如果两者场景相同,这个差异就比较容易解释。先运行一个种子的缩小版实验:

运行前,在笔记中各写一项预测:哪个策略更可能完成任务,哪个策略的调用数可能更少?这两个答案可以指向不同策略。运行后再用成功字段与调用数分别核对。

python lab/advanced.py benchmark --seeds 1 --out runs/ch15-mini
python -m json.tool runs/ch15-mini/summary.json

benchmark 在这里就是自动安排对照并汇总结果的程序。命令仍会运行全部三种条件与四种策略,共 12 回合,但你先只找 perturb: miss-grasp 下这两行:

policy successes / episodes mean_tool_calls
feedback 1 / 1 8
no-retry 0 / 1 3

一次从新场景开始、执行到结束的过程叫一个回合,日志用 episode 表示。表中“3 次调用就结束”并不是更高效地完成任务,而是提前失败。这个小对照先教你同时看结果和开销,还不足以说明多个初始化下的表现。

第二步:扩大成可解释的四策略实验

本章有两个具体问题:抓空后重试是否帮助恢复?目标移动后重新读取位置是否必要?为了回答它们,比较四种策略:

策略 重试 目标位置 用途
baseline 忽略返回、继续固定序列 初始缓存 固定脚本参照
feedback 根据反馈继续 每轮更新 完整反馈控制
no-retry 第一次工具失败后停止 每轮更新 去除失败后继续尝试
stale-spatial 保留 始终复用初始缓存 去除目标刷新

固定基线与完整反馈有多处差异,二者对比只能说明整体流程不同。后两项共享完整反馈控制器的实现,分别关闭“失败后继续”和“刷新目标位置”这一个开关,所以属于消融。其它部分保持一致,结果才容易归因。

第三步:运行预先确定的测试组合

在已激活环境、包含 lab/ 的目录执行:

python lab/advanced.py benchmark --seeds 5 --out runs/ch15-benchmark
python -m json.tool runs/ch15-benchmark/summary.json

--seeds 5 表示种子 0 到 4。随机种子决定本次怎样抽取初始位置;相同代码中使用相同种子,可以重新得到相同初始化。每个种子分别测试无扰动、一次抓空、一次目标移动,再运行四种策略,共 5×3×4=60 回合。这组完整组合也常称为实验矩阵。这里使用的是 --seeds,单数 --seed 不负责指定这些种子。

summary.json 保存分组成功数与平均工具调用数;episodes.json 保存每个回合的初始、最终观察;events.jsonl 在每条工具事件上附加种子、扰动和策略,便于回到具体失败。

运行结束不代表所有回合成功。评估程序的职责是完成测试矩阵,预期失败也必须进入结果。不要因失败删掉回合,或让一个非零结果使后续策略没有机会执行。

第四步:验证配对,而不是只相信种子相同

相同种子只有在相同初始化程序、参数与版本下才有比较意义。本实验为每个策略创建新世界,并保存 initial_observation。将下面的完整程序保存为 check_pairs.py,运行 python check_pairs.py;macOS、Linux 与 PowerShell 都可采用此方式。

import json
from pathlib import Path

rows = json.loads(Path("runs/ch15-benchmark/episodes.json").read_text())
policies = ("baseline", "feedback", "no-retry", "stale-spatial")
conditions = ("none", "miss-grasp", "shift-goal")
index = {(r["seed"], r["perturb"], r["policy"]): r for r in rows}
assert len(rows) == len(index) == 60
for seed in range(5):
    for condition in conditions:
        group = [index[seed, condition, p] for p in policies]
        first = group[0]["initial_observation"]
        assert all(r["initial_observation"] == first for r in group)
for condition in conditions:
    for other in ("no-retry", "stale-spatial"):
        win = loss = tie = 0
        for seed in range(5):
            a = index[seed, condition, "feedback"]["success"]
            b = index[seed, condition, other]["success"]
            win += int(a and not b)
            loss += int(b and not a)
            tie += int(a == b)
        print(condition, other, "完整反馈胜/负/平:", win, loss, tie)

代码中的 index 是一张查找表,用“种子、扰动、策略”三项找到对应回合;assert 检查条件是否成立,失败时停止并提示位置。win/loss/tie 只比较配对回合的任务成功与否,不评价动作是否优雅。

预期抓空条件下完整反馈相对于 no-retry 打印 5 0 0,目标移动条件下相对于 stale-spatial 也打印 5 0 0。其它四行均为 0 0 5。若配对检查先失败,应先核对文件路径、版本和初始化条件,再解释策略差异。

第五步:读懂真实结果

发布前实际运行的五个种子得到下面的成功数。请将你的结果与原始文件对照,而不是把这张表当作要手工填出的答案。

策略 无扰动 一次抓空 一次目标移动
固定基线 5 / 5 0 / 5 0 / 5
完整反馈 5 / 5 5 / 5 5 / 5
去除重试 5 / 5 0 / 5 5 / 5
陈旧目标位置 5 / 5 5 / 5 0 / 5

去除重试只在抓空条件下出现差异,支持“恢复该故障需要失败后继续尝试”的解释。陈旧目标只在目标移动条件下出现差异,支持“动作参数需要更新”的解释。这些归因限于本实验注入的故障,不是对所有抓取失败和动态场景的定理。

再看开销:抓空条件下完整反馈平均调用 8 次工具,去除重试只调用 3 次,但后者任务失败。目标移动下陈旧位置策略用满 32 次工具仍失败,完整反馈为 7 次。单独说“调用更少”或“行动更多”都不能代表效果更好。

当前评估日志没有显式的 termination_reason 字段。“用满预算”的判断来自未成功、32 次工具调用,以及源码中控制循环上限三项证据,属于据此作出的解释。报告时不要把这个解释伪装成日志里已经提供的字段。

第六步:从事件做失败归因

挑一个失败回合,在 events.jsonl 中按 seed、perturb、policy 筛选。先找第一处异常,再看它是否被后续状态纠正,最后查看独立任务验收。

抓空通常有显式错误 injected_miss_grasp;目标陈旧却可能每次移动都返回成功,因为机器人确实到了错误的旧位置。后一类失败应归因于使用了过期目标,而不能算成运动控制未到位。

记录中还应区分接口错误、技能失败、目标关系不满足与预算耗尽。对一个回合可以保留多个证据,但不要把每条失败工具事件都算成一次独立任务失败,否则失败率的分母会混乱。

先定义分母,再计算指标

任务成功率的分母是指定条件下的回合数;工具错误比例的分母是工具事件数;重试恢复比例的分母则应是实际遭遇目标故障的回合。三者回答不同问题,不能互相替换。本实验的 mean_tool_calls 使用该分组全部回合,包括提前停止与用满预算的失败。

用三条假想记录练习计算,先不要套用上面的实跑表:

回合 任务成功 工具调用数
A 是 8
B 否 3
C 是 7

成功率为 2/3;全部回合平均调用数为 (8+3+7)/3=6;只看成功回合则为 (8+7)/2=7.5。三个数都算对了,但回答的问题不同。现在假设 B 提前失败后多做一次无效动作:成功率不变,全部回合平均调用数会上升,成功回合均值仍为 7.5。先写出这个变化,再去理解真实日志中的开销指标。

如果只统计成功回合的调用开销,也可以得到有用信息,但必须标明筛选条件,同时报告被排除的失败数量。一个只完成最容易任务的策略,成功回合可能非常短,这不表示它整体更高效。

分析结果后可以提出新假设,但不要在同一批种子上反复改规则,直到全部通过,再将它们称为未见测试集。保留用于开发的种子,另定一批最终评估种子;如新增故障类型,也先规定注入时机和强度。第 14 章的训练与测试分离,在这里对应的是方案调整与最终比较之间的分离。

为什么 5 / 5 不能叫“稳定百分之百”

五个初始化样本只覆盖一个很窄的范围。同一个确定性种子重复运行五次,可以检查复现性,却不会变成五个新的独立场景。三种扰动各自五次,也不能合并成“每个条件有十五个样本”。

进阶阅读:把每个回合记为成功 1、失败 0,可以用统计区间表达成功比例估计的不确定性。如果各回合独立地来自同一场景分布,5 次全成功的 95% Wilson 区间下界也只有约 0.566,说明五个样本留下的估计范围仍很宽。初次学习不必推导公式,先做到报告“成功数 / 总数”,并说明这些场景从哪里来。NIST 比例区间说明

强化学习评估研究也指出,仅比较少量运行的点估计,可能得到与考虑不确定性后不同的结论。本章没有复现其算法评测,而是采用保留回合和说明样本量的基本原则。原论文

本章验收与继续实验

提交完整的三份记录、配对检查输出、成功数表与失败事件分析。报告同时写清观察来自仿真状态、没有模型调用、抓取为附着近似,以及三种故障条件的定义。

基础题:为“去除重试仍在目标移动下成功”给出机制解释。进阶题:先冻结一个新实验方案,再运行 --seeds 20;比较样本增加后哪些结论变化,不能仅追加恰好有利的种子。若更改脚本检查程序,同时更新预期回合数和种子范围。

基础题应指出:目标移动本身没有让技能返回失败;该策略仍会读取当前目标,因此无需重试也能到达新位置。进阶实验的完整命令为 python lab/advanced.py benchmark --seeds 20 --out runs/ch15-benchmark20。检查程序需要同时改为新目录、len(rows) == len(index) == 240,并把两处 range(5) 改成 range(20)。种子 0–19 包含原来的 0–4,因此它是扩大后的集合,不是完全独立的一批新测试;如需新的留出种子,须先扩展当前命令的种子选择方式。

阅读 Astra:不同反馈接口对照,列出要做公平比较还需要知道哪些条件。展厅材料用于练习审视证据;不要把本章结果与不同机器人、不同输入的案例直接排成同一排行榜。

下一章将控制、任务记忆和逐对象验收组合成双物体任务。你可以沿用本章方法,先看一个回合发生了什么,再比较不同扰动和种子。

本课程实验使用独立的简化教学环境。标为“展厅阅读案例”的录像采用各自的机器人与模型设置;标为“本课实验录像”的内容来自本课程代码的实际运行。
查看本章源文件 · 查看实验说明

学习进度仅保存在当前浏览器。