前一章用一个动作改善观察。这一章关心观察之后的行动:怎样清楚表达“尝试抓取,确认抓住后再搬运”?这句话包含动作顺序、条件和重复。把它们写成程序,就能让一段计划组织多个技能,并在执行过程中检查结果。
前置要求是熟悉第 5 章技能、第 9 章恢复,以及任务记忆与空间信息的时效性。你需要会读列表和字典,不需要编译器知识。实验仍采用单方块 SCARA、仿真状态观察与教学附着抓取,没有调用语言模型。
本章目标
读懂并运行一段带分支和重复的搬运计划,解释执行时的坐标引用,检查节点预算,并让一个不合法计划在执行前被拒绝。你要交付计划文件、运行记录和一次预算不足的分析。
为什么把计划写成一门小语言
普通动作列表只能表达先后顺序。加入条件以后,程序可以表达“已经抓住才运输”;加入有限重复,可以表达“最多尝试三次”。这两项能力已经足够展示程序化策略的重要思想:行动由状态与控制结构共同决定。
JSON 是一种保存数据的文本格式。大括号 {} 保存“名字与内容”的对应关系,方括号 [] 保存有顺序的列表,文字用双引号括起来。它本身不会让机器人行动。
解释器是读取这些数据并依规则执行的程序。在本课程里,它读到 {"call":"grasp"},才会去调用 grasp()。因此要分三步理解:JSON 是否写对,计划是否符合解释器规则,执行后是否完成机器人任务。
Code as Policies 研究了模型生成程序、组合感知与控制接口的路线。本章先由我们自己编写计划,学会读懂执行机制,再理解模型生成代码时各层承担什么职责。原始项目与论文
第一步:从只观察一次的小程序开始
在包含 lab/ 的目录,用编辑器新建 observe-program.json,完整保存下面内容:
{
"version": 1,
"steps": [
{"call": "observe"}
]
}
version: 1 告诉解释器使用哪一版规则;steps 是按顺序执行的步骤列表。这里列表只有一项,要求调用观察工具。运行:
python lab/advanced.py program --program observe-program.json --budget 4 --seed 7 --perturb none --out runs/ch13-observe
预期 executed_nodes: 1、tool_calls: 1、error: null。success 为 false,命令退出码为 2,因为它只观察了一次,还没有搬运方块;这不表示 JSON 或解释器出错。观察内容在 final_observation 和事件记录中。此处的 --budget 4 表示最多访问四个程序节点,稍后会具体计算。
第二步:认识三个节点
我们把计划里的每个小单元称为节点,可以把它看成流程图中的一个框。steps 中的节点只有三类:
| 节点 | 写法 | 作用 |
|---|---|---|
| 技能调用 | {"call":"grasp"} |
调用一个允许的工具 |
| 条件分支 | {"if":"holding","then":[...]} |
条件成立才执行分支,可附加 else |
| 有限重复 | {"repeat":3,"steps":[...]} |
重复执行指定节点列表 |
表中的 ... 只表示“这里放其他节点”,不能原样写进 JSON。允许的工具是 observe、move、grasp、release。条件 holding / not_holding 分别表示持有 / 未持有物体,success / not_success 表示任务已完成 / 未完成,last_ok 表示上一个工具返回成功。条件名必须从这些预设选项中选择。
move 还需要参数,放在 args 中。例如 "z": 0.18 表示固定高度;"x": "goal.x" 表示执行到这一步时,读取目标当时的 x 坐标。这个间接取值叫引用,它解决了第 11 章“计划保存了旧坐标”的问题。可用引用为 block.x、block.y、goal.x、goal.y、tool.x、tool.y,位置来自当前仿真状态。
第三步:逐行解释一个完整计划
在已激活环境、包含 lab/ 的目录运行:
python -m json.tool lab/example-program.json
这条命令只将文件排版显示,不执行机器人动作。完整示例已经随实验包提供;先顺着 steps 从上到下读,再把每一步写成一句中文。
示例先移动到方块上方,再下降。抓取部分是下面的结构:
{
"repeat": 3,
"steps": [
{"if": "not_holding", "then": [{"call": "grasp"}]}
]
}
注意,重复三次并不意味着总会调用三次 grasp。第一次成功后,后续两次条件为假,不再抓取。这是程序结构执行次数与机器人动作次数不同的一个具体例子。
搬运部分放在 holding 分支中:先用当前工具的水平坐标抬升,再移动到当前目标上方,下降并释放。这样,三次都抓不到时,不会继续执行“空手搬运”。最后的观察用于检查状态,不能替代任务验收函数。
画一条分支路径:第一次抓取失败、第二次成功时,哪些节点被访问,哪些动作真正执行?可以先写成“接近 → 下降 → 抓空 → 再抓 → 抬升 → 运输 → 下降 → 释放 → 观察”,再检查第三次循环为什么没有继续抓。
第四步:执行同一个计划
python lab/advanced.py program --program lab/example-program.json --budget 64 --seed 7 --perturb none --out runs/ch13-program
程序会先检查整份计划,再执行节点。program.json 保存实际计划,events.jsonl 保存工具事件,summary.json 提供 executed_nodes、tool_calls、budget、error 和 success。发布前 seed 7 的无扰动实跑访问 13 个节点、执行 8 次工具调用并完成任务。先将记录与预测对应起来,再故意让第一次抓取失败:
python lab/advanced.py program --program lab/example-program.json --budget 64 --seed 7 --perturb miss-grasp --out runs/ch13-retry
本次需要通过 not_holding 分支再次抓取。恢复由你写入的重复与条件产生,不是解释器自动理解了任务。如果计划只写一次 grasp,解释器不会擅自补上重试。
再运行目标移动条件:
python lab/advanced.py program --program lab/example-program.json --budget 64 --seed 7 --perturb shift-goal --out runs/ch13-current-goal
对照抓取后的目标变化与后续 move 参数,检查动态引用是否采用新坐标。这个对照说明:程序可以预先写好,而其中的动作参数仍然在执行时根据新状态确定。
种子 7 的三个结果可以整理成一张表。新增一次抓取,会同时增加一个执行节点和一次工具调用:
| 条件 | executed_nodes |
tool_calls |
任务成功 |
|---|---|---|---|
| 无扰动 | 13 | 8 | 是 |
| 第一次抓空 | 14 | 9 | 是 |
| 目标移动 | 13 | 8 | 是 |
13 个节点怎样数出来?先只看无扰动计划,把工具动作和流程控制分开:
| 执行部分 | 节点访问数 | 工具调用数 |
|---|---|---|
| 接近、下降 | 2 | 2 |
进入一次 repeat |
1 | 0 |
三次检查 not_holding |
3 | 0 |
| 第一次条件为真,执行抓取 | 1 | 1 |
检查 holding |
1 | 0 |
| 抬升、运输、下降、释放 | 4 | 4 |
| 最后观察 | 1 | 1 |
| 合计 | 13 | 8 |
现在遮住上面的结果表,预测抓空一次会改变哪一行:三次条件检查仍然发生,只是其中两次会进入抓取分支,因此“执行抓取”变成 2 个节点、2 次调用,总量变为 14 和 9。若你数出三次抓取,请重新检查每轮开始时的 holding。
看一段更丰富的程序式控制
观看下面的 PyRUA-Lean 案例时,找出“一段代码对应多个机器人动作”的位置,再留意执行结果之后何时产生下一段代码。
看一个 Python 单元如何组合多次动作,再看模型是否根据抓取、位置或接触反馈修改下一段代码;留意末帧夹爪与目标的关系。
输入:双相机 RGB-D、标定、机器人自身状态;SAM3 分割与工具返回值。这里运行 LIBERO-PRO MuJoCo 适配,没有复现 RoboDojo 排名,也未使用 Coder 4B。采用 Pi0.5 LIBERO 微调权重、SAM3 CPU 与低峰值加载;每集 30 工具轮次、1200 秒、3000 控制步。首次原生成功即终止,抓放任务可能仍夹持物体;具体末态在演示标签说明。录像为逐控制步的 20fps 回放,不等于模型实时速度,也不声称逐物理步完整状态重演。
一次模型输出可以安排接近、测量、移动和检查,因此代码单元数与动作次数并不相同。本章的 JSON 计划同样组织多个技能,但表达范围更小、计划由我们编写。看完后,用“谁产生程序、谁执行技能、谁提供反馈”三句话说明两者关系。
第五步:理解结构上限与运行预算
节点预算是一份“最多还允许访问多少个框”的计数。解释器每访问一个调用、条件或重复节点,就花掉一个单位;条件为假也需要先检查,所以仍然计数。这样既能限制动作数量,也能限制没有动作的计算。
python lab/advanced.py program --program lab/example-program.json --budget 1 --seed 7 --perturb none --out runs/ch13-budget
这次预期得到 error: program_budget_exhausted、executed_nodes: 1、tool_calls: 1 和 success: false。第一条移动已经执行,第二个节点之前预算用尽。预算限制工作量,不会把物理场景回滚到开始。命令退出码 2 是本练习预期结果,继续阅读日志即可。
节点预算也不是仿真步数或耗时。一次 move 内部推进许多物理步,一次条件判断却不移动机器人。报告开销时分别记录节点访问与实际工具事件,不要把二者混成同一个“步”。
把嵌套节点画成树状图,就得到程序的语法树。可以手算一个例子:外层重复 4 次,内部再重复 4 次,每次只调用一次 observe。文件中只有外层重复、内层重复和观察三个节点,但运行时会访问外层 1 次、内层 4 次、观察 16 次,共消耗 21 个节点单位。前者是静态节点数,后者是动态执行量。
为避免计划文件过度复杂,解释器还限制最多 128 个静态节点、6 层嵌套和每个重复节点最多 16 次。先掌握上面的计数方法,再阅读源码中的这些上限即可。
条件也不会自动停止整份计划。某个 then 分支执行完后,解释器继续处理它后面的节点。如果希望抓取失败后不搬运,就要把整段搬运放进 holding 分支,而不是只给第一条移动加条件。画出语法树,比仅凭缩进感觉理解执行顺序更可靠。
第六步:自己写一个可检查的计划
用编辑器将下列内容保存为 invalid-program.json,不要加入 JSON 注释:
{"version": 1, "steps": [{"call": "teleport"}]}
python lab/advanced.py program --program invalid-program.json --budget 64 --seed 7 --perturb none --out runs/ch13-invalid
teleport 不在允许列表中,应得到 unknown call or node fields,并且事件文件为空:计划尚未执行。将错误工具藏在一个当前不会进入的分支,仍会被发现,因为校验会遍历整份计划。
接着复制示例计划,尝试用 last_ok 限制失败动作后的继续执行。设计时明确哪个工具的结果正在被检查:插入一个 observe 会更新“上一个结果”,不应再把它误当成此前移动的结果。
本章验收与排查
解释默认运行、抓空恢复、目标移动、预算不足和非法工具五种结果。成功运行要指出抓取与释放证据,失败运行要说明属于校验、预算还是技能执行。不要只提交最后一个布尔值。
如果 JSON 读取失败,先检查引号和逗号;如果语法通过却任务失败,检查条件是否放错位置、引用是否对应正确实体,以及动作返回。把任何失败都归给“计划不好”,会掩盖具体错误。
本章命令在已激活环境的 macOS、Linux 与 PowerShell 中均可直接运行。JSON 文件使用编辑器保存为 UTF-8;自行写多行 Python 检查程序时,将其保存为 .py 文件再运行。
案例、练习与参考
基础题:复制示例文件,把 repeat 内部的 steps 改为 [{"call":"grasp"}],保留重复三次,使用 --perturb none 运行到新目录。先预测三次调用的返回,再核对事件。进阶题:设计“移动失败则结束,抓空允许重试”的计划,说明每个条件检查的证据以及最大节点消耗。
基础题自查:第一次抓取成功,后两次返回 already_holding。解释器不会因工具返回 ok: false 自动停止,后面的 holding 条件仍为真,因此原计划的搬运部分仍会执行。这个例子提醒你分别检查“工具报错了什么”和“当前状态允许做什么”。进阶题需要用条件包住后续动作;本语言没有 break 或 return 节点,不能直接从 Python 搬来这些写法。
本章改变的是“技能怎样被组织”。下一章换一个角度:保持到达目标这个小需求,学习技能内部的数值映射。