机器人 Agent
Agent 闭环 / 第 06 章

第一个机器人 Agent 循环

观察、行动、检查,再决定下一步

现在已经有了观测接口和技能。第 5 章的固定脚本即使抓空也会照表抬手。要让下一步有所不同,我们从一次具体失败追到 scripted_agent(),看它如何用同一套技能完成搬运。

本章先看两条实际轨迹,再运行无扰动闭环,把规则和每条日志对起来。第 9 章会让你亲手复跑扰动对照。

本章目标:看懂一次决策为什么发生

完成红色方块到蓝色区域的搬运,得到 events.jsonl 和 summary.json。完成后,你应能指着日志解释:“这一步为什么抓取?抓取后为什么抬高?什么时候该停止?”

这里的 Agent 循环是“观察—决策—行动—再观察”的软件结构。当前决策器是一组人工写好的规则,名称为 scripted;确定性意味着相同状态会得到相同选择。它不是大模型推理。以后可以替换决策器,但观察、工具和任务验收这些接口仍然需要保留。

先用一个具体意外理解闭环

两条轨迹的第三次调用均抓空。第四次调用,固定脚本继续抬手,规则闭环再次抓取并最终完成任务。
图 6-1 用同一个种子注入一次抓空,两条执行轨迹在第 4 次调用分叉。抓空对照的完整运行在第 9 章。

假设第三步抓空了。固定脚本仍然执行第四步“抬高”、第五步“移到蓝区”,只是这次没有方块跟随。反馈控制器会先重新读取 holding:它表示方块是否已经附着在工具上。若还是 false,就不会进入“搬运已抓物体”的分支。

闭环指执行结果会影响后续动作;这里闭合的是信息回路,不是机械臂走了一条闭合曲线。状态机则是编写这种规则的一种方式:根据“尚未抓住”“已经抓住”“任务完成”等状态选择动作。

下面是结构说明,不是需要复制执行的 Python:

最多进行 32 轮:
    读取当前观察
    如果任务已经完成:结束
    根据是否持物、工具位置和目标位置选择一个动作
    执行动作,并记录动作返回的观察
仍未完成:保留失败结果并结束

实际 scripted_agent 在下一轮调用 observe() 读取当前状态,不靠理解错误消息文字来恢复。例如抓空后,它看到 holding 仍为假,于是继续满足抓取分支。error 字段主要留给我们排查原因。

自己当一次决策器。 下表的两个状态中,工具都在红块附近、较低的位置,只有持物状态不同。先为它们各选一个动作,再看答案。

当前观察 候选动作 你的选择
holding: false,还没抓住 抓取 / 带物抬升 ____
holding: true,已经抓住 再次抓取 / 原地抬升 ____

答案分别是抓取、原地抬升。判断的输入是当前状态,不是“现在排到了第几步”。若第一次抓空,第一个状态会再次出现,于是再次选择抓取;这就是一个很小但完整的反馈决策。后面读日志时,要把“动作之后的状态”交给下一轮规则,而不是把它当成当前动作的原因。

第一步:认清工具、观察与任务三个接口

接口或字段 本章中的作用 一个容易混淆的地方
observe() 读取机器人、方块、目标的当前状态 本章坐标直接来自仿真器,不是相机识别
move(x,y,z) 让工具尝试到达世界坐标,单位米 到达方块旁边不等于抓住方块
grasp() 在足够靠近时建立教学抓取附着 holding 才能帮助确认是否已持物
release() 解除附着并等待物体落下 在错误位置放下也可能 ok: true
task.success 判断整个搬运任务是否完成 它与单个工具的 result.ok 不同

World 还提供颜色定位接口,留到第 8 章单独练习。本章不使用图像。抓取采用简化 SCARA 与显式附着约束,目的是学习控制流程,不代表验证了真实夹爪摩擦。

第二步:运行一次无扰动的闭环

python lab/run.py agent --mode scripted --seed 7 --out runs/ch06-scripted --perturb none

参数从左到右表示:运行 Agent、使用规则模式、采用种子 7、把文件写入指定目录、不注入扰动。种子控制初始方块的位置;固定种子有助于比较两个方法。命令默认只计算物理过程、打印结果,不会弹出动画窗口,这是正常现象。

本机参考结果的关键字段如下,其余完整状态仍保存在文件里:

{
  "mode": "scripted",
  "seed": 7,
  "perturb": "none",
  "success": true,
  "steps": 7,
  "model_calls": 0,
  "error": null
}

这里 null 表示没有记录到程序异常,不是所有问题都不存在:一次任务也可能 error: null 但 success: false。steps 是保存的工具事件数,model_calls 是尝试的模型请求次数。model_calls: 0 说明这次没有调用模型。

第三步:把七次动作与规则逐项对应

下表描述种子 7、无扰动时的七次工具调用。p 代表当前方块位置,g 代表当前目标位置;高度 0.18 m 用于抬升,0.06/0.065 m 用于接近与放置。

事件 step 工具 决策依据 调用后的关键变化
0 move(p.x,p.y,0.18) 空手,工具的水平位置还不靠近方块 到方块上方
1 move(p.x,p.y,0.06) 水平位置已接近,但工具太高 下降到抓取附近
2 grasp() 空手且已接近方块 holding 变为 true
3 move(tool.x,tool.y,0.18) 已持物,要横向移动但目前过低 先抬高
4 move(g.x,g.y,0.18) 已持物且高度合适,还没到目标上方 移向当前蓝区
5 move(g.x,g.y,0.065) 已到目标上方,但仍然较高 降低准备放置
6 release() 已持物且达到放置位置 松开,等待物体落下

下一轮读取到 task.success: true,循环结束。这张表解释本次轨迹,不是程序硬编码的七行执行计划;第 9 章注入抓空后,规则会多执行一次抓取。

第四步:用小程序读日志

JSON 是保存一份结构化数据的格式;JSONL 则是“一行一个 JSON 对象”,适合保存连续事件。summary.json 是本回合汇总,events.jsonl 是逐步记录。step 从 0 开始,所以 step: 2 是第三次事件。

把以下完整代码保存为仓库根目录的 inspect_ch06.py,再执行它。保存为文件的方式适用于 macOS、Linux 和 Windows,无需学习不同终端的多行输入语法。

import json
from pathlib import Path

folder = Path("runs/ch06-scripted")
summary = json.loads((folder / "summary.json").read_text())
events = [json.loads(line) for line in
          (folder / "events.jsonl").read_text().splitlines()]

print("任务成功:", summary["success"], "模型调用:", summary["model_calls"])
print("step  tool     ok     holding  task_success")
for event in events:
    result = event["result"]
    observation = result["observation"]
    print(event["step"], event["tool"], result["ok"],
          observation["robot"]["holding"], observation["task"]["success"])

assert summary["mode"] == "scripted"
assert summary["model_calls"] == 0
assert len(events) == summary["steps"]
assert summary["success"] is True
python inspect_ch06.py

应看到七行事件,第三行抓取之后 holding 为 True,最后释放后为 False 且任务成功。Python 打印的 True/False 与 JSON 中的 true/false 含义相同。assert 是检查条件的语句;条件不成立时会抛出错误,提醒你检查证据,而不是继续宣称通过。

每行观察是该动作执行之后的状态。要了解抓取前发生了什么,应看前一条移动事件的观察,不能把抓取后的 holding: true 当成抓取前已有物体。下一步为什么抬高,则需要结合抓取后的观察与上面的决策表。

现在做一次只靠记录的推演:遮住日志中编号 3 的工具名,先读编号 2 的观察。你应读到“已经持物、还没完成、工具高度较低”,因此预测下一步先抬升;再揭开编号 3 核对。最后一条释放记录则应支持“下一轮停止”,而不是继续抓取。若这两处都能解释,说明你已经把日志中的状态与决策规则连接起来了。

验收与常见卡点

本章验收需要两个日志文件和一个解释:抓取前工具在哪,抓取后哪个字段变化,为什么随后选择抬高。仅有最终 success 不能展示你读懂了闭环。

  • 找不到日志:确认从仓库根目录运行,并检查 --out 指定的目录;命令不会自动沿用上一章的输出位置。
  • 没有动画:本命令不打开交互查看器,先用事件表检查动作,后续课程提供实际录像对照。
  • 看见 ok: true 就认为完成:继续检查 task.success,尤其注意释放发生的位置。
  • 七次动作与固定基线完全一样:无扰动时本来就可能相同,要通过第 9 章对照检验反馈的作用。

基础练习:换成 --seed 8 --out runs/ch06-seed8,并修改检查程序的目录。比较初始位置与动作类型,解释为什么坐标变了,任务阶段仍可相同。

下一章先解决“什么任务可以被接受、怎样才算完成”。真实模型接入放在第 7 章末作为选学;跳过它不影响后续任何离线实验。以后阅读 PyRUA-Lean 的代码组织案例时,可以继续追问“反馈在哪一行改变了下一步”,但它的机器人与接口不同,不是本章已经复现的系统。

参考

本课程实验使用独立的简化教学环境。标为“展厅阅读案例”的录像采用各自的机器人与模型设置;标为“本课实验录像”的内容来自本课程代码的实际运行。
查看本章源文件 · 查看实验说明

学习进度仅保存在当前浏览器。