机器人 Agent
机器人基础 / 第 05 章

把动作封装成技能

为移动、抓取与放置定义可检查的接口

第 4 章的移动可以封装成一个可以重复调用的技能。现在假设上层只发来 grasp(),技能要回答三件事:当前能抓吗?执行了什么?返回什么才能让上层决定下一步?

这一章先以抓取为例,再把同样的接口读法用到移动、释放和基线的七次调用中。

本章目标

读懂课程的四个基础技能,为每个技能写清前置条件和执行后检查;从一次基线日志还原完整操作;区分工具成功、物体状态变化和任务成功,并识别一个忽略失败反馈的执行器。

技能不是只有一个函数名字

抓取先检查是否空手且末端接近方块,条件满足时尝试启用附着约束,条件不满足时返回失败原因。
图 5-1 技能返回当前状态,供调用方判断是否继续。第 6 章会在满足前置条件后主动注入一次抓空。

grasp() 看起来没有参数,但它并不在任何时刻都能成功:机器人需要靠近方块,而且不能已经持有物体。这些“开始之前必须满足的条件”叫前置条件。例如,释放的前置条件是手里有物体,调用后的检查则是物体确实被释放。

输入规定参数、单位和坐标系;执行过程规定内部做什么;返回值报告结果和原因;执行后检查确认承诺是否兑现。这些约定合起来就是接口协议。明确的错误原因能帮助上层区分需要重新定位、先抬升,还是改一个不可达目标。

课程的基础接口如下:

技能 输入与关键前置条件 返回后要检查什么
observe() 无动作参数 信息来源、当前末端和物体状态
move(x, y, z) 世界系米制坐标;目标可达;低处横移有限制 ok、错误原因、实际末端位置
grasp() 当前未持物;末端足够接近方块 ok 与新的 robot.holding
release() 当前持有物体 已解除附着;物体位置与任务验收

相机定位接口放到第 8 章讲解。这里先让状态输入和基础动作之间的关系完整可检查。

表中的名字是程序内部的 Python 接口。终端入口只提供 observe、move、baseline 等已列出的子命令,没有独立的 grasp 子命令。本章通过一次 baseline 运行连续调用抓取与释放,这样所有动作才会操作同一个场景。

仔细读懂三个动作的边界

move 的 z 范围是 0.045 至 0.32 米;它先检查几何可达性,再设置关节控制目标并推进仿真。末端与请求位置的距离小于 0.02 米时报告到位。如果末端低于 0.12 米而水平目标距离超过 0.04 米,接口返回 lift_before_lateral_motion,要求先抬升。

例如,工具刚下降到 6 厘米高,要向旁边移动 10 厘米,就需要先在原地抬到 18 厘米,再横移。这样可以读懂错误提示要求做什么。这项规则是教学执行约束;场景中的连杆和夹爪没有参与碰撞检查,所以它没有提供完整避障能力。

grasp 要求末端与方块的水平距离小于 0.035 米,垂直距离小于 0.05 米。成功时启用焊接约束:可以把它理解成在仿真里临时建立一个连接,使工具与方块保持抓取时的相对位置和朝向。这个教学近似让我们研究技能组合与反馈,而没有模拟指尖怎样靠摩擦夹稳方块。

release 解除约束后继续推进仿真,让物体有时间落下。解除约束成功不意味着放置成功;若释放位置不对,方块仍可能落在目标区之外。

先在纸上调用一次技能。 假设工具与方块的水平距离还有 10 厘米、手里为空,此时调用 grasp() 能成功吗?不能,因为水平距离已经超过 3.5 厘米门槛。合理顺序是先到方块上方、下降接近,再尝试抓取。接着只改变一个条件:工具已靠近,但手里已经有方块,此时也不该再次抓取。位置条件和持物条件必须同时成立,不能只检查其中一个。

实验一:还原基线的七次调用

在包含 lab/ 的实验根目录、已经激活环境的终端中执行:

python lab/run.py baseline --seed 7 --out runs/skills-baseline

打开 runs/skills-baseline/events.jsonl。每行包含 step、sim_time_s、tool、arguments 与 result。arguments 是交给工具的参数,空字典 {} 表示这次没有参数;result.observation 是该次动作后的状态,result.ok 是技能结果,失败时还有 result.error。

对照正常基线的七行记录,给每次调用补上意图:

step 工具 本次要做什么 正常执行后的 holding
0 move 到方块上方 false
1 move 下降接近方块 false
2 grasp 建立夹持连接 true
3 move 抬升方块 true
4 move 到目标上方 true
5 move 下降准备放置 true
6 release 解除夹持并等待物体落稳 false

同一种 move 在不同阶段承担不同目的。理解意图,才能知道失败后应该返回哪个阶段。想缩短输出,可以复用第 3 章的检查程序,将文件路径改成 runs/skills-baseline/events.jsonl。

随后检查三类证据:每次移动的目标与实际末端位置,抓取后是否持物,释放后方块是否进入目标且稳定。最后查看汇总:

python -m json.tool runs/skills-baseline/summary.json

确认 mode 为 baseline、model_calls 为 0、success 为真。注意编号 2 的抓取成功时已经可以有 result.ok: true 和 holding: true,但 task.success 仍为假,因为方块还没放入目标区。这是“工具完成”和“任务完成”最容易直接看到的区别。

当前任务验收同时检查已经释放、方块水平位置距目标中心小于 0.045 米、方块高度处于 0.015 至 0.065 米之间、平移速度小于 0.05 米每秒。因此,短暂经过目标上方与完成放置不是同一个事件。这些阈值是本课程场景的具体定义,不是所有机器人任务通用的标准。

实验二:一个工具失败以后发生什么

保持同一个种子,加入一次人为抓空扰动:

运行前先选一个预测:第三次调用抓空以后,固定基线会 A. 再抓一次,B. 继续抬升,还是 C. 立即停止?依据应该是它怎样选择下一步,而不是我们希望它怎样做。

python lab/run.py baseline --seed 7 --perturb miss-grasp --out runs/skills-miss

本次实验会让第一次符合位置条件的抓取返回 injected_miss_grasp,意思是“人为安排的这次抓取没有建立连接”。故障注入就是由实验程序主动制造一个已知失败,便于重复研究后续反应;它不会额外模拟一段夹爪滑落动作。命令以退出码 2 结束属于本次实验的预期结果,仍应打开日志查看全过程。

在 runs/skills-miss/events.jsonl 找到编号 2 的失败行,再向后阅读。基线仍按原定顺序继续移动与释放,因为它有意忽略工具反馈。后续 holding 应保持为假,最后一次释放会返回 empty_gripper,即“手里没有物体”。汇总的 success 为假;即使其中 error 为 null,也只说明没有记录到上层程序异常,技能失败要到各事件的 result.error 中查看。

对照答案是 B。 在两份日志中只抄出编号 2、3、6,做一张小表:抓取是否成功、抬升时是否持物、最后是否完成任务。正常回合依次应出现“抓住、带物抬升、放置成功”;故障回合则是“抓空、空手抬升、空手释放失败”。这能把问题定位到第三次调用后没有根据反馈改计划,而不是笼统地写“机器人没有工作”。

这个对照揭示了一个区别:技能接口能准确报告失败,上层执行器仍可能做错。不能因为一次任务失败,就把全部责任归给感知或底层控制。第 6 章会加入读取反馈的闭环,第 9 章再比较恢复行为;本章先把问题定位清楚。

先看一遍下一章会用到的规则闭环恢复演示。留意字幕中第一次 injected_miss_grasp,以及随后是否再次抓取、让红块随工具抬起。

本课实验录像
第一次抓空之后,反馈控制器如何重试

种子 7,第一次有效抓取被故意拒绝。先看 injected_miss_grasp 与 holding=false,再看第二次抓取后的状态;这段录像供第 6 章闭环学习预览。

本课 SCARA 实际仿真录像 · 状态输入与规则控制 · 无模型调用。动作间加入定格便于读字幕;无音轨。

查看本次动作与验收记录 · 录像生成源码

逐步观看:点击记录跳到对应画面

两次抓取之间未必有明显位移,所以要把字幕与物体是否随行一起看。这个版本读取“尚未持物”的反馈后重试,共执行 8 次工具调用;本章固定基线则执行 7 次后失败。两者都没有调用语言模型,区别在于是否利用技能结果改变下一步。

从技能调用到任务状态

可以把任务写成几个阶段:寻找目标、接近、抓取、运输、释放、验收。但阶段跳转必须有证据。调用过 grasp 不应自动进入运输阶段;应该先确认抓取结果和持物状态。调用过 release 也不应直接宣布完成;应该再检查任务条件。

同样,不能无限重试。对不可达坐标重复移动,与对一次暂时抓空重新靠近,需要不同策略。错误原因决定是否值得重试,重试预算决定何时停止并报告问题。这些规则既适用于确定性程序,也适用于以后接入的模型决策(第 7 章选学)。

案例阅读:程序封装了多少决策

打开 PyRUA-Lean 代码单元案例。尝试区分模型生成的代码、代码调用的动作和动作内部执行。若一个代码单元包含循环与条件分支,它就承担了部分局部决策;不能只按代码单元数量计算机器人实际执行了几步。

本章借案例练习接口分析,不承诺用本课程 SCARA 实验复现案例中的机器人与实验设置。

验收、常见错误与练习

提交两份实际运行记录,以及一张包含动作意图、前置条件、结果和下一步选择的表。你应能指出抓空发生在哪个事件、基线为何没有恢复,并写出下一章决策器必须遵守的一条反馈检查规则。

常见错误是把 ok 和 task.success 混为一谈,把“调用过”当成“实现了”,以及用接口名称掩盖内部假设。阅读技能源码时,尤其要找阈值、状态改变和失败分支。

基础题:为 grasp 的 already_holding 和 not_at_block 分别写出合理的后续动作。挑战题:设计“运输途中目标改变”的阶段跳转,说明必须重新读取哪项状态,以及仅复用初始目标坐标为什么会失效。

基础题参考:already_holding 应先确认当前持物状态;若已拿着本任务物体,就进入抬升或运输,不需要重复抓取。not_at_block 应重新读取方块与工具位置,再安排靠近和下降。下一章将把这种“先读状态,再选动作”的过程写成循环;先说清规则,代码才有明确含义。

一手参考

本课程实验使用独立的简化教学环境。标为“展厅阅读案例”的录像采用各自的机器人与模型设置;标为“本课实验录像”的内容来自本课程代码的实际运行。
查看本章源文件 · 查看实验说明

学习进度仅保存在当前浏览器。