第 14 章比较了学习模型与解析专家:两者在相同目标位置接受测试,才容易看清差异。本章把这个思路用于整个任务,研究反馈控制为什么能应对抓空和目标移动。
先记住两个词:配对是让不同方法遇到相同场景;消融是在同一个完整方法里移除一项功能,观察结果怎样变化。前者减少“题目不同”的影响,后者帮助定位“哪个部件有用”。
前置要求是理解第 9 章扰动、第 10—11 章记忆,以及技能日志。本实验使用确定性控制器;随机种子改变场景初始化,不是语言模型采样种子,也不是训练神经网络的种子。
本章目标
完成 60 回合的四策略对照,验证初始条件匹配,从原始事件解释失败,并报告样本量限制。最终交付全部回合、分组表和两个机制归因,不只挑选成功案例。
第一步:先看一个小对照
假设第一次抓取失败。有重试的控制器再次抓取,没有重试的控制器立即停止。如果两者场景相同,这个差异就比较容易解释。先运行一个种子的缩小版实验:
运行前,在笔记中各写一项预测:哪个策略更可能完成任务,哪个策略的调用数可能更少?这两个答案可以指向不同策略。运行后再用成功字段与调用数分别核对。
python lab/advanced.py benchmark --seeds 1 --out runs/ch15-mini
python -m json.tool runs/ch15-mini/summary.json
benchmark 在这里就是自动安排对照并汇总结果的程序。命令仍会运行全部三种条件与四种策略,共 12 回合,但你先只找 perturb: miss-grasp 下这两行:
policy |
successes / episodes |
mean_tool_calls |
|---|---|---|
feedback |
1 / 1 | 8 |
no-retry |
0 / 1 | 3 |
一次从新场景开始、执行到结束的过程叫一个回合,日志用 episode 表示。表中“3 次调用就结束”并不是更高效地完成任务,而是提前失败。这个小对照先教你同时看结果和开销,还不足以说明多个初始化下的表现。
第二步:扩大成可解释的四策略实验
本章有两个具体问题:抓空后重试是否帮助恢复?目标移动后重新读取位置是否必要?为了回答它们,比较四种策略:
| 策略 | 重试 | 目标位置 | 用途 |
|---|---|---|---|
baseline |
忽略返回、继续固定序列 | 初始缓存 | 固定脚本参照 |
feedback |
根据反馈继续 | 每轮更新 | 完整反馈控制 |
no-retry |
第一次工具失败后停止 | 每轮更新 | 去除失败后继续尝试 |
stale-spatial |
保留 | 始终复用初始缓存 | 去除目标刷新 |
固定基线与完整反馈有多处差异,二者对比只能说明整体流程不同。后两项共享完整反馈控制器的实现,分别关闭“失败后继续”和“刷新目标位置”这一个开关,所以属于消融。其它部分保持一致,结果才容易归因。
第三步:运行预先确定的测试组合
在已激活环境、包含 lab/ 的目录执行:
python lab/advanced.py benchmark --seeds 5 --out runs/ch15-benchmark
python -m json.tool runs/ch15-benchmark/summary.json
--seeds 5 表示种子 0 到 4。随机种子决定本次怎样抽取初始位置;相同代码中使用相同种子,可以重新得到相同初始化。每个种子分别测试无扰动、一次抓空、一次目标移动,再运行四种策略,共 5×3×4=60 回合。这组完整组合也常称为实验矩阵。这里使用的是 --seeds,单数 --seed 不负责指定这些种子。
summary.json 保存分组成功数与平均工具调用数;episodes.json 保存每个回合的初始、最终观察;events.jsonl 在每条工具事件上附加种子、扰动和策略,便于回到具体失败。
运行结束不代表所有回合成功。评估程序的职责是完成测试矩阵,预期失败也必须进入结果。不要因失败删掉回合,或让一个非零结果使后续策略没有机会执行。
第四步:验证配对,而不是只相信种子相同
相同种子只有在相同初始化程序、参数与版本下才有比较意义。本实验为每个策略创建新世界,并保存 initial_observation。将下面的完整程序保存为 check_pairs.py,运行 python check_pairs.py;macOS、Linux 与 PowerShell 都可采用此方式。
import json
from pathlib import Path
rows = json.loads(Path("runs/ch15-benchmark/episodes.json").read_text())
policies = ("baseline", "feedback", "no-retry", "stale-spatial")
conditions = ("none", "miss-grasp", "shift-goal")
index = {(r["seed"], r["perturb"], r["policy"]): r for r in rows}
assert len(rows) == len(index) == 60
for seed in range(5):
for condition in conditions:
group = [index[seed, condition, p] for p in policies]
first = group[0]["initial_observation"]
assert all(r["initial_observation"] == first for r in group)
for condition in conditions:
for other in ("no-retry", "stale-spatial"):
win = loss = tie = 0
for seed in range(5):
a = index[seed, condition, "feedback"]["success"]
b = index[seed, condition, other]["success"]
win += int(a and not b)
loss += int(b and not a)
tie += int(a == b)
print(condition, other, "完整反馈胜/负/平:", win, loss, tie)
代码中的 index 是一张查找表,用“种子、扰动、策略”三项找到对应回合;assert 检查条件是否成立,失败时停止并提示位置。win/loss/tie 只比较配对回合的任务成功与否,不评价动作是否优雅。
预期抓空条件下完整反馈相对于 no-retry 打印 5 0 0,目标移动条件下相对于 stale-spatial 也打印 5 0 0。其它四行均为 0 0 5。若配对检查先失败,应先核对文件路径、版本和初始化条件,再解释策略差异。
第五步:读懂真实结果
发布前实际运行的五个种子得到下面的成功数。请将你的结果与原始文件对照,而不是把这张表当作要手工填出的答案。
| 策略 | 无扰动 | 一次抓空 | 一次目标移动 |
|---|---|---|---|
| 固定基线 | 5 / 5 | 0 / 5 | 0 / 5 |
| 完整反馈 | 5 / 5 | 5 / 5 | 5 / 5 |
| 去除重试 | 5 / 5 | 0 / 5 | 5 / 5 |
| 陈旧目标位置 | 5 / 5 | 5 / 5 | 0 / 5 |
去除重试只在抓空条件下出现差异,支持“恢复该故障需要失败后继续尝试”的解释。陈旧目标只在目标移动条件下出现差异,支持“动作参数需要更新”的解释。这些归因限于本实验注入的故障,不是对所有抓取失败和动态场景的定理。
再看开销:抓空条件下完整反馈平均调用 8 次工具,去除重试只调用 3 次,但后者任务失败。目标移动下陈旧位置策略用满 32 次工具仍失败,完整反馈为 7 次。单独说“调用更少”或“行动更多”都不能代表效果更好。
当前评估日志没有显式的 termination_reason 字段。“用满预算”的判断来自未成功、32 次工具调用,以及源码中控制循环上限三项证据,属于据此作出的解释。报告时不要把这个解释伪装成日志里已经提供的字段。
第六步:从事件做失败归因
挑一个失败回合,在 events.jsonl 中按 seed、perturb、policy 筛选。先找第一处异常,再看它是否被后续状态纠正,最后查看独立任务验收。
抓空通常有显式错误 injected_miss_grasp;目标陈旧却可能每次移动都返回成功,因为机器人确实到了错误的旧位置。后一类失败应归因于使用了过期目标,而不能算成运动控制未到位。
记录中还应区分接口错误、技能失败、目标关系不满足与预算耗尽。对一个回合可以保留多个证据,但不要把每条失败工具事件都算成一次独立任务失败,否则失败率的分母会混乱。
先定义分母,再计算指标
任务成功率的分母是指定条件下的回合数;工具错误比例的分母是工具事件数;重试恢复比例的分母则应是实际遭遇目标故障的回合。三者回答不同问题,不能互相替换。本实验的 mean_tool_calls 使用该分组全部回合,包括提前停止与用满预算的失败。
用三条假想记录练习计算,先不要套用上面的实跑表:
| 回合 | 任务成功 | 工具调用数 |
|---|---|---|
| A | 是 | 8 |
| B | 否 | 3 |
| C | 是 | 7 |
成功率为 2/3;全部回合平均调用数为 (8+3+7)/3=6;只看成功回合则为 (8+7)/2=7.5。三个数都算对了,但回答的问题不同。现在假设 B 提前失败后多做一次无效动作:成功率不变,全部回合平均调用数会上升,成功回合均值仍为 7.5。先写出这个变化,再去理解真实日志中的开销指标。
如果只统计成功回合的调用开销,也可以得到有用信息,但必须标明筛选条件,同时报告被排除的失败数量。一个只完成最容易任务的策略,成功回合可能非常短,这不表示它整体更高效。
分析结果后可以提出新假设,但不要在同一批种子上反复改规则,直到全部通过,再将它们称为未见测试集。保留用于开发的种子,另定一批最终评估种子;如新增故障类型,也先规定注入时机和强度。第 14 章的训练与测试分离,在这里对应的是方案调整与最终比较之间的分离。
为什么 5 / 5 不能叫“稳定百分之百”
五个初始化样本只覆盖一个很窄的范围。同一个确定性种子重复运行五次,可以检查复现性,却不会变成五个新的独立场景。三种扰动各自五次,也不能合并成“每个条件有十五个样本”。
进阶阅读:把每个回合记为成功 1、失败 0,可以用统计区间表达成功比例估计的不确定性。如果各回合独立地来自同一场景分布,5 次全成功的 95% Wilson 区间下界也只有约 0.566,说明五个样本留下的估计范围仍很宽。初次学习不必推导公式,先做到报告“成功数 / 总数”,并说明这些场景从哪里来。NIST 比例区间说明
强化学习评估研究也指出,仅比较少量运行的点估计,可能得到与考虑不确定性后不同的结论。本章没有复现其算法评测,而是采用保留回合和说明样本量的基本原则。原论文
本章验收与继续实验
提交完整的三份记录、配对检查输出、成功数表与失败事件分析。报告同时写清观察来自仿真状态、没有模型调用、抓取为附着近似,以及三种故障条件的定义。
基础题:为“去除重试仍在目标移动下成功”给出机制解释。进阶题:先冻结一个新实验方案,再运行 --seeds 20;比较样本增加后哪些结论变化,不能仅追加恰好有利的种子。若更改脚本检查程序,同时更新预期回合数和种子范围。
基础题应指出:目标移动本身没有让技能返回失败;该策略仍会读取当前目标,因此无需重试也能到达新位置。进阶实验的完整命令为 python lab/advanced.py benchmark --seeds 20 --out runs/ch15-benchmark20。检查程序需要同时改为新目录、len(rows) == len(index) == 240,并把两处 range(5) 改成 range(20)。种子 0–19 包含原来的 0–4,因此它是扩大后的集合,不是完全独立的一批新测试;如需新的留出种子,须先扩展当前命令的种子选择方式。
阅读 Astra:不同反馈接口对照,列出要做公平比较还需要知道哪些条件。展厅材料用于练习审视证据;不要把本章结果与不同机器人、不同输入的案例直接排成同一排行榜。
下一章将控制、任务记忆和逐对象验收组合成双物体任务。你可以沿用本章方法,先看一个回合发生了什么,再比较不同扰动和种子。