前面的控制器可以直接读取“方块在什么坐标”。现实中的相机首先给我们一张图,不会顺便告诉机器人方块中心的位置。本章暂时离开动作循环,单独练习:在图片中找到红色和蓝色,再把像素位置换成米制坐标。
前置要求:完成第 3 章观察来源、第 4 章世界坐标,并能运行 doctor。本章需要渲染环境,主线仍不调用大模型。当前 scripted Agent 使用仿真状态,本章的视觉输出还没有接入它的抓放决策。
本章目标:分清输入、预测与评价标签
| 数据 | 从哪里来 | 用来做什么 |
|---|---|---|
| RGB 图像 | MuJoCo 相机渲染 | 颜色定位的输入 |
像素位置 pixel_uv |
对图像做颜色筛选 | 表示图中候选位置 |
估计位置 xyz |
像素加已知相机与平面几何 | 输出预测的米制位置 |
| 仿真真值 | 独立读取场景对象位置 | 在最后评价预测误差 |
真值在这里指仿真器记录的位置,类似练习题的标准答案。我们可以在评价时拿它来比较,但不能先把答案交给定位函数,再声称位置是从图像识别出来的。
第一步:生成并查看原始图像
在仓库根目录、已激活环境中运行:
python lab/run.py vision --seed 7 --out runs/ch08-vision
命令生成 top-camera.png 和 vision.json,不会自动打开图片。用文件管理器进入 runs/ch08-vision,打开 PNG。先找到红块、蓝区与机械臂,再看 JSON。

上图是同一教学场景、种子 7 的固定相机原始 RGB。观察红块是否完整可见:有一部分被连杆遮住了。后续即使程序报告“检测到红色”,也未必找到了方块真正的中心。
vision.json 中 block 和 goal 分别是红块与蓝区结果。每项的 source 应为 rgb_color_mask_and_calibrated_plane,即“颜色筛选,加已知平面几何”。scope 说明它只是受控颜色定位,不是通用视觉语言模型(VLM),也不是视觉控制器。
第二步:先读懂像素坐标
RGB 指红、绿、蓝三个颜色通道。本实验图像宽 640、高 480,每个像素有三个 0–255 的通道值。像素坐标写作 (u,v):u 是从左向右的列号,v 是从上向下的行号。
- 左上角约为
(0,0),右下角为(639,479)。 - 图像中心为
(319.5,239.5),可能出现小数是因为偶数个像素的中心落在两个像素之间。 (298,191)在图像中心的左上方。这只是图片中的位置,单位是像素,还不是机械臂的x,y米制位置。
代码用数组读图片时通常写 image[v,u],先行后列;输出 pixel_uv 却是先横坐标后纵坐标。把两者交换,会让定位结果出现在错误方向。
第三步:用颜色得到一个候选位置
对红色,代码要求 R > 80 且 R > 1.8G、R > 1.8B。例如 (200,20,15) 符合,而灰色 (150,150,150) 不符合。蓝色使用相应的蓝通道条件。
把符合条件的位置记为真,其余记为假,就得到掩码:一张只回答“这个像素是否入选”的表。程序找到全部入选像素,再分别取横坐标、纵坐标的中位数。中位数就是排序后位于中间的数,用它得到一个代表位置。
手算三个像素。 对 (90,10,10)、(120,80,10)、(70,0,0),先预测哪些会进入红色掩码。对照答案是只有第一个:第二个虽然红通道最大,但 120 没有大于 1.8×80=144;第三个不满足 R>80。筛选依据是明确的不等式,不是人看起来“有点红”。接着对横坐标 [10,11,12,13,50] 找中位数,答案是 12;它也不是把五个数相加除以 5 得到的平均数。
如果少于 20 个候选像素,返回 color_not_visible。达到 20 个时的 ok: true 只说明有足够像素形成候选,不是“有 99% 把握找对中心”。遮挡会让剩余像素偏向一边;两个红物体还可能让代表位置落到两者之间。
第四步:像素如何换成世界坐标
一个像素对应从相机射出的一条视线。沿这条线放近处的小物体或远处的大物体,都可能投在同一个像素上,因此单个像素通常不能唯一确定三维位置。
本实验额外知道:相机固定在世界坐标 (0,0,1.4) 米,朝下看;红块顶面高度约为 0.044 m,蓝区顶面为 0.014 m。视线与这些水平面相交,就能确定一个位置。这种额外已知条件叫先验,不是程序从当前图片里猜出的信息。
焦距与图像中心等相机内部参数常称为内参,相机在世界中的位置与方向称为外参。这里只使用一个特别简单、已经给定参数的相机,不需要先做一般相机标定。固定相机的计算式为:
f = 480 / (2 × tan(48° / 2)) # 焦距,单位像素
h = 红块或蓝区的已知表面高度 # 单位米
d = 1.4 - h # 相机到该平面的距离,单位米
x = (u - 319.5) × d / f
y = -(v - 239.5) × d / f
z = h
其中 48° 是相机垂直视场角,也就是画面上下边界在相机处张开的角度。u-319.5 与 v-239.5 先把原点移到图像中心;乘以 d/f 后,像素偏移变成米制距离。y 前的负号来自方向差异:图片向下为正,而当前相机下世界 y 向上为正。
以红块候选 (298,191) 为例:它在中心左侧,所以预测 x<0;在中心上方,所以预测 y>0。本机输出约为 [-0.05408,0.12200,0.044] 米。这一步把“图片左上方”变成了机械臂能理解的位置表示。
不必只相信公式,把下面代码保存为 pixel_to_world.py,在根目录执行 python pixel_to_world.py,亲手核对这个例子:
import math
u, v = 298, 191
height_m = 0.044
focal_px = 480 / (2 * math.tan(math.radians(48 / 2)))
metres_per_pixel = (1.4 - height_m) / focal_px
x = (u - 319.5) * metres_per_pixel
y = -(v - 239.5) * metres_per_pixel
print("世界坐标(米):", round(x, 5), round(y, 5), height_m)
预期输出约为 -0.05408 0.122 0.044。math.radians 先把角度换成弧度,metres_per_pixel 则是这个已知平面上一像素对应的米数。再预测一次: 只把 u 改为 308,x 应增加还是减小,y 是否变化?保存后重跑,x 应约增加 0.02515 m,y 不变。这是一次计算练习,没有移动相机或机器人;它检验你是否理解了像素方向和单位转换。
这套简式只适用于当前相机方向、分辨率、视场角与已知平面。改变相机或物体高度后,不能不加检查就继续套用。
第五步:独立计算误差
把下面完整代码保存为仓库根目录的 inspect_ch08.py。它读取刚才保存的预测,然后重新建立相同种子的初始场景,仅取真值做评价。这里重建场景成立,是因为预测来自尚未执行动作的初态;对于行动后的图片,不能用一个重置世界的初态来当答案。
import json
import math
from pathlib import Path
from lab.run import World
predictions = json.loads(Path("runs/ch08-vision/vision.json").read_text())
world = World(seed=7)
truth = {"block": world.block, "goal": world.goal}
tolerance_m = 0.01
for kind in ("block", "goal"):
result = predictions[kind]
if not result["ok"]:
print(kind, "未检测到:", result["error"])
continue
error_m = math.dist(result["xyz"][:2], truth[kind][:2])
print(kind, "像素数:", result["pixels"], "像素位置:", result["pixel_uv"])
print("估计米制位置:", result["xyz"])
print(f"XY误差: {error_m:.5f} m = {error_m * 100:.2f} cm")
print("满足预设的1cm标准:", error_m < tolerance_m)
python inspect_ch08.py
[:2] 表示只取坐标的前两项 x,y,math.dist 计算这两个平面点之间的直线距离。这里只比较平面位置:视觉的 z 指物体顶面,仿真 block 的 z 指方块中心,直接相减会混入定义差异。
种子 7 的本机参考结果为:
读表之前,先根据原图猜测:被机械臂遮住一部分的红块,与完整可见的蓝区,哪一个位置误差可能更大?将这个预测与实际结果比较;遮挡是本场景的解释线索,最后仍以测得误差为准。
| 对象 | 候选像素数 | XY 误差 | 是否小于 1 cm |
|---|---|---|---|
红块 block |
75 | 约 0.01607 m,即 1.61 cm | 否 |
蓝区 goal |
2990 | 约 0.00163 m,即 0.16 cm | 是 |
红块没有通过定位标准是本章保留的真实结果,不能因为 ok: true 就改判。1 cm 是我们在评价前设定的练习标准;代码也没有承诺总能达到它。
检查点: 红块的“检测到候选”和“通过 1 cm 定位标准”应分别填写什么?答案是 True 与 False。前者检查入选像素数量,后者检查预测位置与真值的距离,二者回答不同问题。进入下一章前,试着把它与第 5 章的“抓取工具成功 / 整个搬运成功”放在一起解释:每一项结果,都应对应自己的检查条件。
这些坐标何时才能用于行动
控制器使用位置之前,还需要确认对象身份、坐标系、可见性与误差是否满足任务要求。没有检测到时,重新观察或停止是合理选择;悄悄换回仿真真值再执行,却仍称为纯视觉,便混淆了输入来源。
本章只完成“图像→候选→米制位置→误差评价”。第 12 章会实际移动机械臂解除遮挡,再比较图像与误差;它仍不是通用视点规划,更不意味着自动接通了视觉抓放闭环。
验收与排查
提交原图、视觉 JSON、两项误差,以及对红块遮挡的解释。验收要求正确比较预测与真值,不要求把两项都写成通过。
- 没生成 PNG:先运行
python lab/run.py doctor,确认render项为ok;没有实际图像就还没完成视觉实验。 color_not_visible:检查遮挡、光照与颜色条件,不能从缺失结果中强行读xyz。- 结果左右或上下颠倒:先查
u,v顺序和纵轴负号。 - 改种子后误差奇怪:生成图片与评价场景必须使用相同种子、相同场景时刻。
基础练习:用种子 8 输出到 runs/ch08-seed8,同时修改检查程序的目录与 World(seed=8),比较像素数和误差。进阶练习:在纸上画两个分开的红色区域,说明把所有红像素合在一起取中位数,为何不能可靠区分两个物体。
下一章回到状态模式,用受控故障检查反馈与任务验收。视觉误差的概念仍有用:工具成功、候选检测成功和整个任务成功,都需要各自的检查标准。