第 4 章的移动可以封装成一个可以重复调用的技能。现在假设上层只发来 grasp(),技能要回答三件事:当前能抓吗?执行了什么?返回什么才能让上层决定下一步?
这一章先以抓取为例,再把同样的接口读法用到移动、释放和基线的七次调用中。
本章目标
读懂课程的四个基础技能,为每个技能写清前置条件和执行后检查;从一次基线日志还原完整操作;区分工具成功、物体状态变化和任务成功,并识别一个忽略失败反馈的执行器。
技能不是只有一个函数名字
grasp() 看起来没有参数,但它并不在任何时刻都能成功:机器人需要靠近方块,而且不能已经持有物体。这些“开始之前必须满足的条件”叫前置条件。例如,释放的前置条件是手里有物体,调用后的检查则是物体确实被释放。
输入规定参数、单位和坐标系;执行过程规定内部做什么;返回值报告结果和原因;执行后检查确认承诺是否兑现。这些约定合起来就是接口协议。明确的错误原因能帮助上层区分需要重新定位、先抬升,还是改一个不可达目标。
课程的基础接口如下:
| 技能 | 输入与关键前置条件 | 返回后要检查什么 |
|---|---|---|
observe() |
无动作参数 | 信息来源、当前末端和物体状态 |
move(x, y, z) |
世界系米制坐标;目标可达;低处横移有限制 | ok、错误原因、实际末端位置 |
grasp() |
当前未持物;末端足够接近方块 | ok 与新的 robot.holding |
release() |
当前持有物体 | 已解除附着;物体位置与任务验收 |
相机定位接口放到第 8 章讲解。这里先让状态输入和基础动作之间的关系完整可检查。
表中的名字是程序内部的 Python 接口。终端入口只提供 observe、move、baseline 等已列出的子命令,没有独立的 grasp 子命令。本章通过一次 baseline 运行连续调用抓取与释放,这样所有动作才会操作同一个场景。
仔细读懂三个动作的边界
move 的 z 范围是 0.045 至 0.32 米;它先检查几何可达性,再设置关节控制目标并推进仿真。末端与请求位置的距离小于 0.02 米时报告到位。如果末端低于 0.12 米而水平目标距离超过 0.04 米,接口返回 lift_before_lateral_motion,要求先抬升。
例如,工具刚下降到 6 厘米高,要向旁边移动 10 厘米,就需要先在原地抬到 18 厘米,再横移。这样可以读懂错误提示要求做什么。这项规则是教学执行约束;场景中的连杆和夹爪没有参与碰撞检查,所以它没有提供完整避障能力。
grasp 要求末端与方块的水平距离小于 0.035 米,垂直距离小于 0.05 米。成功时启用焊接约束:可以把它理解成在仿真里临时建立一个连接,使工具与方块保持抓取时的相对位置和朝向。这个教学近似让我们研究技能组合与反馈,而没有模拟指尖怎样靠摩擦夹稳方块。
release 解除约束后继续推进仿真,让物体有时间落下。解除约束成功不意味着放置成功;若释放位置不对,方块仍可能落在目标区之外。
先在纸上调用一次技能。 假设工具与方块的水平距离还有 10 厘米、手里为空,此时调用 grasp() 能成功吗?不能,因为水平距离已经超过 3.5 厘米门槛。合理顺序是先到方块上方、下降接近,再尝试抓取。接着只改变一个条件:工具已靠近,但手里已经有方块,此时也不该再次抓取。位置条件和持物条件必须同时成立,不能只检查其中一个。
实验一:还原基线的七次调用
在包含 lab/ 的实验根目录、已经激活环境的终端中执行:
python lab/run.py baseline --seed 7 --out runs/skills-baseline
打开 runs/skills-baseline/events.jsonl。每行包含 step、sim_time_s、tool、arguments 与 result。arguments 是交给工具的参数,空字典 {} 表示这次没有参数;result.observation 是该次动作后的状态,result.ok 是技能结果,失败时还有 result.error。
对照正常基线的七行记录,给每次调用补上意图:
step |
工具 | 本次要做什么 | 正常执行后的 holding |
|---|---|---|---|
| 0 | move |
到方块上方 | false |
| 1 | move |
下降接近方块 | false |
| 2 | grasp |
建立夹持连接 | true |
| 3 | move |
抬升方块 | true |
| 4 | move |
到目标上方 | true |
| 5 | move |
下降准备放置 | true |
| 6 | release |
解除夹持并等待物体落稳 | false |
同一种 move 在不同阶段承担不同目的。理解意图,才能知道失败后应该返回哪个阶段。想缩短输出,可以复用第 3 章的检查程序,将文件路径改成 runs/skills-baseline/events.jsonl。
随后检查三类证据:每次移动的目标与实际末端位置,抓取后是否持物,释放后方块是否进入目标且稳定。最后查看汇总:
python -m json.tool runs/skills-baseline/summary.json
确认 mode 为 baseline、model_calls 为 0、success 为真。注意编号 2 的抓取成功时已经可以有 result.ok: true 和 holding: true,但 task.success 仍为假,因为方块还没放入目标区。这是“工具完成”和“任务完成”最容易直接看到的区别。
当前任务验收同时检查已经释放、方块水平位置距目标中心小于 0.045 米、方块高度处于 0.015 至 0.065 米之间、平移速度小于 0.05 米每秒。因此,短暂经过目标上方与完成放置不是同一个事件。这些阈值是本课程场景的具体定义,不是所有机器人任务通用的标准。
实验二:一个工具失败以后发生什么
保持同一个种子,加入一次人为抓空扰动:
运行前先选一个预测:第三次调用抓空以后,固定基线会 A. 再抓一次,B. 继续抬升,还是 C. 立即停止?依据应该是它怎样选择下一步,而不是我们希望它怎样做。
python lab/run.py baseline --seed 7 --perturb miss-grasp --out runs/skills-miss
本次实验会让第一次符合位置条件的抓取返回 injected_miss_grasp,意思是“人为安排的这次抓取没有建立连接”。故障注入就是由实验程序主动制造一个已知失败,便于重复研究后续反应;它不会额外模拟一段夹爪滑落动作。命令以退出码 2 结束属于本次实验的预期结果,仍应打开日志查看全过程。
在 runs/skills-miss/events.jsonl 找到编号 2 的失败行,再向后阅读。基线仍按原定顺序继续移动与释放,因为它有意忽略工具反馈。后续 holding 应保持为假,最后一次释放会返回 empty_gripper,即“手里没有物体”。汇总的 success 为假;即使其中 error 为 null,也只说明没有记录到上层程序异常,技能失败要到各事件的 result.error 中查看。
对照答案是 B。 在两份日志中只抄出编号 2、3、6,做一张小表:抓取是否成功、抬升时是否持物、最后是否完成任务。正常回合依次应出现“抓住、带物抬升、放置成功”;故障回合则是“抓空、空手抬升、空手释放失败”。这能把问题定位到第三次调用后没有根据反馈改计划,而不是笼统地写“机器人没有工作”。
这个对照揭示了一个区别:技能接口能准确报告失败,上层执行器仍可能做错。不能因为一次任务失败,就把全部责任归给感知或底层控制。第 6 章会加入读取反馈的闭环,第 9 章再比较恢复行为;本章先把问题定位清楚。
先看一遍下一章会用到的规则闭环恢复演示。留意字幕中第一次 injected_miss_grasp,以及随后是否再次抓取、让红块随工具抬起。
种子 7,第一次有效抓取被故意拒绝。先看 injected_miss_grasp 与 holding=false,再看第二次抓取后的状态;这段录像供第 6 章闭环学习预览。
本课 SCARA 实际仿真录像 · 状态输入与规则控制 · 无模型调用。动作间加入定格便于读字幕;无音轨。
逐步观看:点击记录跳到对应画面
两次抓取之间未必有明显位移,所以要把字幕与物体是否随行一起看。这个版本读取“尚未持物”的反馈后重试,共执行 8 次工具调用;本章固定基线则执行 7 次后失败。两者都没有调用语言模型,区别在于是否利用技能结果改变下一步。
从技能调用到任务状态
可以把任务写成几个阶段:寻找目标、接近、抓取、运输、释放、验收。但阶段跳转必须有证据。调用过 grasp 不应自动进入运输阶段;应该先确认抓取结果和持物状态。调用过 release 也不应直接宣布完成;应该再检查任务条件。
同样,不能无限重试。对不可达坐标重复移动,与对一次暂时抓空重新靠近,需要不同策略。错误原因决定是否值得重试,重试预算决定何时停止并报告问题。这些规则既适用于确定性程序,也适用于以后接入的模型决策(第 7 章选学)。
案例阅读:程序封装了多少决策
打开 PyRUA-Lean 代码单元案例。尝试区分模型生成的代码、代码调用的动作和动作内部执行。若一个代码单元包含循环与条件分支,它就承担了部分局部决策;不能只按代码单元数量计算机器人实际执行了几步。
本章借案例练习接口分析,不承诺用本课程 SCARA 实验复现案例中的机器人与实验设置。
验收、常见错误与练习
提交两份实际运行记录,以及一张包含动作意图、前置条件、结果和下一步选择的表。你应能指出抓空发生在哪个事件、基线为何没有恢复,并写出下一章决策器必须遵守的一条反馈检查规则。
常见错误是把 ok 和 task.success 混为一谈,把“调用过”当成“实现了”,以及用接口名称掩盖内部假设。阅读技能源码时,尤其要找阈值、状态改变和失败分支。
基础题:为 grasp 的 already_holding 和 not_at_block 分别写出合理的后续动作。挑战题:设计“运输途中目标改变”的阶段跳转,说明必须重新读取哪项状态,以及仅复用初始目标坐标为什么会失效。
基础题参考:already_holding 应先确认当前持物状态;若已拿着本任务物体,就进入抬升或运输,不需要重复抓取。not_at_block 应重新读取方块与工具位置,再安排靠近和下降。下一章将把这种“先读状态,再选动作”的过程写成循环;先说清规则,代码才有明确含义。
一手参考
- MuJoCo 焊接约束定义:理解教学附着方式的物理建模含义。
- Code as Policies 原始项目:代码组织感知与控制接口的实例。
- 课程技能与执行器源码:阈值、错误类型与日志的直接依据。