第 2 章的 observe 已经列出了红块坐标。现在把相机遮住,仿真器仍能告诉我们它在哪里。为什么?物理引擎要维护方块位置才能计算运动,相机只能提供它拍到的画面。理解这两条来源,才能说清楚后面每个决策到底用到了什么。
本章沿用第 2 章的实验环境。会运行 observe 和 baseline 就可以继续。
本章目标
建立一份观察字段表,区分仿真状态、机器人自身反馈与相机感知;解释同一个状态为何能生成不同观察;从日志中找到动作前后的证据,并说明当前实验能够支持哪些结论。
状态是世界,观察是接口
仿真器为了计算运动,需要保存关节位置、速度、物体姿态等信息。这些内部状态并不自动属于 Agent。观察接口选择其中哪些内容可以交给决策程序,也可以先经过相机渲染、检测或其他处理。
用简单记号表示:世界在时刻 t 的状态是 s_t,决策程序获得的观察是 o_t,动作是 a_t。下标 t 只是标记“第几个时刻”,不用先求解方程。动作改变世界,而新观察描述变化后的信息。o_t 可以只是 s_t 的一部分,也可能带测量偏差或延迟。
RGB 就是由红、绿、蓝三个颜色通道组成的普通彩色图像。只给一张 RGB 图时,遮挡后的方块仍存在于仿真状态中,却可能完全不出现在观察里。直接输出方块三维坐标则绕过了遮挡。这种为实验提供的精确信息通常称为特权状态或仿真真值。“真值”在这里指仿真器内部的数据,并非通过相机测量出来的位置。
使用真值并没有问题:它能帮助我们先隔离控制与决策错误。问题在于把这种条件下的成功,解释成视觉系统已经解决了定位。我们会在第 8 章建立相机感知路径,并明确记录输入的变化。
阅读课程的观察协议
在仓库根目录、已激活的虚拟环境中运行:
python lab/run.py observe --seed 7
先找最外层的 robot、scene 和 task。JSON 用 {} 包住一组“名称—值”,用 [] 保存按顺序排列的数值;例如 [x, y, z] 表示三个方向的位置。下表中的 robot.holding 是阅读路径,意思是“打开 robot 这一组,再找 holding”,不是文件里一个带点号的长名称。
本阶段输出的 observation_source 为 simulator_state。这是数据来源标签,不是模型名称。重点检查下面这些字段:
| 字段 | 含义 | 本阶段的数据来源 |
|---|---|---|
robot.joints_rad |
转动关节角度,单位弧度 | 仿真关节状态 |
robot.vertical_slide_m |
竖直滑动关节位移,单位米 | 仿真关节状态 |
robot.tool_xyz |
末端在世界坐标系中的位置,单位米 | 仿真运动学结果 |
robot.holding |
教学附着约束是否启用 | 仿真技能状态 |
scene.block_xyz |
方块位置,单位米 | 仿真物体真值 |
scene.goal_xyz |
目标区位置,单位米 | 仿真场景真值 |
scene.block_linear_speed_m_s |
方块当前平移速率,单位米每秒 | 仿真速度状态 |
task.success |
当前是否满足课程的任务验收 | 仿真状态判定 |
这里的 holding 不是现实夹爪力传感器测量,block_xyz 也不是检测器输出。它们准确地反映了本课程简化场景中相应的状态,但不能直接迁移成真实机器人的感知结论。
种子 7 的一次初始输出中,方块位置约为 [-0.06999, 0.11972, 0.02194] 米。第三项是方块中心离桌面的高度,约 2.19 厘米;它不是夹爪应该下降到的高度。holding: false 与 task.success: false 则分别表示“还没夹持”和“任务还没完成”。先把数值翻译成这样一句话,再进行计算。
实验一:写一张数据来源表
将实际输出保存到学习笔记,为每个字段补充四项说明:单位、坐标系、来源、用途。先看末端与方块的三个分量,判断你能否据此计算水平距离;再看 holding 和 success,说明二者为什么不能互相代替。
假设方块已经被夹持,但仍在原地,holding 可以为真,任务仍未完成。再假设方块移动到目标上方却没有释放,仅有水平位置接近也不足以验收。把状态拆开,才能定位究竟是哪项条件缺失。
最后,划出你愿意提供给决策程序的字段,以及只保留给评测器的字段。评测器就是专门按任务条件打分的程序:它可以知道正确位置,用来检查预测,却不一定应把答案交给正在做预测的程序。本阶段公开使用真值;以后比较视觉方法时,要检查内部坐标有没有通过模型输入文字或工具返回值传回决策程序。
实验二:用动作前后信息解释变化
运行一条带日志的基线:
python lab/run.py baseline --seed 7 --out runs/observation-study
打开 runs/observation-study/events.jsonl。JSONL 的每一行是一个独立 JSON 事件,所以一行可能很长。每条事件都先记录调用什么工具和参数,再把动作后的观察放在 result.observation 中。它与 observe 的内容相似,只是外面多了一层执行记录。
为了先看懂变化,把下面代码保存成根目录中的 inspect_observations.py。首次保存 Python 程序时,可以在代码编辑器中新建文件、粘贴完整代码,再选择“另存为”。文件名以 .py 结尾,不要保存成 .py.txt;使用 UTF-8 纯文本,并保留每行开头的空格。终端运行的是保存好的文件,不需要把整个代码框逐行输入终端。macOS、Linux 和 PowerShell 都适用。
先预测: 在笔记里填三个时刻的“持物 / 任务完成”:下降接近方块后、抓取后、释放到目标后。然后让下面的程序替你从真实日志中找答案。
import json
from pathlib import Path
path = Path("runs/observation-study/events.jsonl")
for line in path.read_text().splitlines():
event = json.loads(line)
obs = event["result"]["observation"]
print(event["step"], event["tool"],
"持物:", obs["robot"]["holding"],
"方块:", obs["scene"]["block_xyz"],
"任务完成:", obs["task"]["success"])
python inspect_observations.py
第一次读这段代码,可以只追踪一行日志怎样经过四步:read_text().splitlines() 把文件分成各行;for line in ... 让每一行依次接受相同处理;json.loads(line) 把这一行文字变成能按名称取值的数据;print(...) 将选中的字段显示出来。obs = event["result"]["observation"] 相当于先打开 result,再打开其中的 observation。变量 obs 只是给这一层数据起个短名字。
缩进在 Python 中有含义:这里缩进去的几行会为每条事件重复执行。暂时不必从零写同样的程序,先试着指出“输入文件在哪一行”“显示的字段在哪几行”,再修改它。
你会看到七行,编号从 0 到 6。正常基线中,编号 1 的下降后仍未持物;编号 2 的 grasp 后开始持物,但任务仍未完成;编号 6 的 release 后持物为假、任务完成为真。再打开 summary.json,把汇总与这些逐步证据对照。若自己的结果不同,先保留实际输出并找到首次不同的行。
对照答案: 三个时刻依次为 False / False、True / False、False / True。Python 打印的 True/False 与 JSON 的小写 true/false 含义相同。再做一个小改动:在 print 的最后加上 "时间:", event["sim_time_s"],保存并重新运行。应仍有七行,只是每行多了时间;这次只是在读已有文件,不会重新搬运机器人。
为三个时刻各写一句话,句子必须包含证据。例如,“附着状态由假变真”只支持教学抓取状态发生变化;要说明物体真的被带走,还需要比较后续方块位置。不要把自己的预期写成实际输出。
再找一次移动事件,记录要求到达的位置和反馈中的实际位置。这两者可能很接近,却属于不同类别:前者是命令,后者才是执行后的观察。控制误差要从它们的差值计算,不能直接把命令复制进结果表。
观察还包含时间含义
同一个数字在不同时间有不同价值。抓取前获得的方块位置,在方块被推动后可能已经过期;旧位置即使来自准确的真值,也不能代表现在。
课程日志中的 step 和 sim_time_s 分别记录事件编号与仿真时间,能帮助追踪先后关系。做笔记时保留它们和对应动作,不要只摘出一个孤立坐标。仿真时间不等于现实等待时间;将来接入异步相机与模型时,还要记录采集时间与处理时间,慢的推理可能让“刚收到”的结果对应较早画面。
自己扩展日志时,还要区分“引用”与“快照”。引用像一个指向当前数据的入口;快照像拍下一张照片。MuJoCo 的数组会随仿真更新,因此只保存入口不一定保存了过去。本课程的 JSON 文件已经把当时的具体数值写下来,适合按时间回看。
案例阅读:记忆能否代替新观察
阅读 MemS 视觉空间记忆案例,再对照 目标移动案例。这两项是现有展厅材料,不是本章实验包的完整复现。
记录系统记住了什么,以及环境变化后哪些记忆需要更新。记忆可以减少重复推理,但不能保证环境保持不变。评估记忆的价值,应同时看它帮助了哪些决策,以及错误记忆是否能被新证据修正。
验收、常见错误与练习
验收产物是一张数据来源表和三段带事件证据的状态解释。你应能明确说出:当前控制实验使用仿真真值,尚未证明相机定位能力;任务成功需要多项条件,工具返回值只覆盖其中一部分。
常见错误包括把坐标叫作“视觉识别结果”、把动作目标当成实际位置、把旧观察当成当前状态,以及把评测器知道的所有信息都交给 Agent。遇到不确定字段,先查生成它的代码,不要从名字猜测来源。
基础题:只保留末端位置和夹持状态,决策程序还缺少什么才能定位方块?挑战题:设计一张遮挡场景图,列出仿真真值、RGB 观察和历史记忆三者各自能提供的信息,并指出仍然无法确定的内容。
现在已经能从记录里读出“工具在哪里、目标在哪里”。下一章要解决的是:怎样解释这些坐标,并把一个位置要求变成真正的移动。
一手参考
- MuJoCo 状态与控制:仿真状态和控制量的正式说明。
- MuJoCo Python 数据访问:底层数组与数据复制的行为。
- 课程实验源码:本章观察字段的实际定义。