第 10 章保存“哪项任务已经完成”,这一章保存“目标上一次在哪里”。例如,任务记忆可以记住红块已经放好,空间记忆则保存蓝色区域的位置;目标后来移动时,后一项信息就需要更新。
这里说的缓存,就是把读到的信息暂存下来,供后续快速使用。空间记忆是在坐标之外,再保存对象身份、来源和时间的缓存。你可以把它想成一张带时间的便签:“1 秒时,蓝色区域在这里。”
前置要求是完成第 3、4、9、10 章,理解数据来源、世界坐标和目标移动实验。本章使用明确标记的仿真状态来学习记忆更新机制;它没有通过相机估计位置。
本章目标
为一个空间记录标明对象、位置、坐标系、来源、观测时间和有效状态;用同种子对照解释旧缓存为何失败;找出目标变化、旧记录失效、新记录建立与动作变化之间的证据链。
坐标为什么会过期
假设机器人第一次看到目标区位于 y=-0.18 米,抓取后目标区移动到 y=0.20 米。旧数值仍正确描述过去,却不能继续作为当前放置目标。如果没有时间信息,上层看见的只是两个互相冲突的坐标。
可以把同一对象的空间历史画成:
时间 t0 目标移动 时间 t1
| | |
v v v
记录 A: y=-0.18 -----> 世界已经变化 -----> 记录 B: y=0.20
来源:状态观察 来源:新状态观察
旧记录保留供追溯 新记录供后续动作
A.valid = false
记忆更新包含两个动作:保留“曾经观测到什么”,并改变“现在允许使用什么”。简单覆盖可以让最新查询得到新位置,却丢失了分析变化的证据;永久累积而不标有效性,又会让决策器不知道该信哪一条。
一条位置记录的最小含义
| 信息 | 为什么需要 | 本实验中的理解 |
|---|---|---|
| 对象身份 | 避免将两个物体的坐标合并 | 同一个蓝色目标区 |
xyz |
给几何和动作提供位置 | 世界坐标系,单位米 |
source |
判断信息是怎样得到的 | 明确标记仿真状态来源 |
observed_at_s |
区分过去与当前信息 | 观测时的仿真时间 |
valid |
指示该条记录能否作为当前估计 | 超龄或被新记录替代后使旧记录失效 |
坐标系与对象身份在本教学场景中固定,因此可以由场景约定提供。扩展到多个相机、地图或机器人时,不能默认所有三元组都属于同一个坐标系。时间也必须说明时钟:仿真秒数不能直接与另一台机器的系统时间相减。
valid 是程序对适用性的标记,不是真理证明。没有观察到变化,并不意味着物体没有移动。记录只要不再满足使用假设,就应该被重新核对;等待时间、接触事件、任务阶段和新观测冲突都可以成为重新观察的理由。
更新不是把新旧位置机械平均
同一静止目标的多次测量会有小幅误差,把这些测量结合起来得到一个估计,叫作融合。但“目标刚刚移动”属于另一种情形:把旧位置和新位置平均,可能得到一个目标从未停留过的位置。
本实验按下面三步处理这张“坐标便签”:
- 查询函数
lookup计算“当前仿真时间减去记录时间”。超过 2 秒就返回None,即没有可用结果,并将旧记录标为reason: expired。 - 刷新方式重新读取目标位置,追加一条新的有效记录。
- 新旧位置相差超过 1 厘米时,新记录写入
update_reason: position_changed,表示这次观察发现了位置变化。
因此,“旧记录为什么失效”和“新观察发现什么”由两个字段分别说明。两秒是本实验选择的复核间隔,不是物体实际保持静止的保证。程序也不是先从图像发现了移动,才决定让缓存失效。
用便签做一次纸面推演:记录时间是 1.0 秒,允许保存 2.0 秒。分别在三个时刻查询,先自行算“年龄”,再核对下表。三行假设分别从这条有效记录开始查询。
| 查询时刻 | 记录年龄 | 本实验的查询结果 |
|---|---|---|
| 2.5 秒 | 1.5 秒 | 返回有效记录 |
| 3.0 秒 | 2.0 秒 | 仍返回记录,因为代码判断“超过”两秒 |
| 3.1 秒 | 2.1 秒 | 返回 None,旧记录标为 expired |
再检查一个区别:若目标在 1.2 秒已经移动,到 2.5 秒时这张便签仍可能通过年龄检查,但坐标已经不适用。时间限制只能提醒何时重查;更早得到的新观测,也应及时更新记录。
用于图像时,还要先确认新旧观察指向同一个物体,这一步叫对象关联。新的检测也可能认错对象或受到遮挡影响,所以更新时间之外,还需要检查坐标系和测量质量。
MemS 的原始设计将可复用物体几何与可更新的放置状态结合,并通过图像测量和标定几何修正场景。本章只实现较小的时效性对照,不包含完整三维重建、图像对应点选择或上游规划器。MemS 原始说明
第一步:运行旧缓存与更新记忆对照
激活课程环境后,在包含 lab/ 的目录运行:
python lab/advanced.py spatial --seed 7 --out runs/ch11-spatial
命令在相同种子下分别运行 stale 与 refresh 两种方式。两者面对相同的目标移动:第一次成功抓取后,蓝色目标区移动到新位置。两者查询时旧缓存都已经超龄;stale 故意无视失效标记,继续使用预先复制的旧坐标,refresh 则根据新的状态观察更新可用记录。
这里的 stale 意为“陈旧”,refresh 意为“刷新”。两组机器人、技能、初始化与验收条件相同,区别是后续动作采用哪份坐标。命令会自动完成两组运行,通常几秒内结束;它不会弹出机器人窗口。
第二步:逐段解释结果
打开 summary.json,查看 cases 中每个 mode、cache_expired、used_goal_xyz 与 success。再打开 spatial-memory.json 的 stale、refresh 列表,寻找初始坐标、后续观察和有效性变化。events.jsonl 通过 case 区分两组技能执行,帮助你检查记忆是否真的影响了动作。
不熟悉 JSON 阅读器时,可以先用这条命令把摘要排版显示在终端:
python -m json.tool runs/ch11-spatial/summary.json
种子 7 的预期对照如下。两组的缓存都过期,只有刷新组改变了后续使用的位置:
| 模式 | cache_expired |
实际采用的目标 y | success |
|---|---|---|---|
stale |
true |
-0.18 米 | false |
refresh |
true |
0.20 米 | true |
其中 true / false 是 JSON 的真、假。整个命令正常完成时退出码为 0,内部有一组任务失败正是预期对照。
按以下顺序制作证据表:
| 阶段 | 要检查的记录 | 要回答的问题 |
|---|---|---|
| 初始定位 | 初始空间记录 | 目标最早在哪里,来源是什么? |
| 扰动发生 | 抓取后的目标观察 | 世界何时与旧缓存产生差异? |
| 记忆更新 | 旧、新记录和有效状态 | 旧记录为什么不能继续使用? |
| 后续横移 | move 的参数与反馈 |
执行器实际采用了哪个水平目标? |
| 最终验收 | 当前目标关系与 success |
方块是否放到了当前目标区? |
这里最重要的是第四行。更新了文件却没有让动作查询新记录,只能说明记录器更新了,不能说明控制器使用了记忆。反过来,动作到了新位置却没有保存更新依据,也不利于解释决策来源。
第三步:建立一个可复查的比较输出
将以下代码保存为仓库根目录的 inspect_spatial_memory.py,再执行后面的命令。PowerShell 用户同样直接保存 .py 文件运行,不需要使用 Bash 的多行输入写法。
import json
from pathlib import Path
folder = Path("runs/ch11-spatial")
summary = json.loads((folder / "summary.json").read_text())
for case in summary["cases"]:
print("模式:", case["mode"], "任务成功:", case["success"],
"采用的目标:", case["used_goal_xyz"])
history = json.loads((folder / "spatial-memory.json").read_text())
for mode, records in history.items():
for record in records:
print(mode, "观测时间:", record["observed_at_s"],
"有效:", record["valid"], "位置:", record["xyz"],
"失效原因:", record.get("reason", "尚未失效"),
"更新原因:", record["update_reason"])
python inspect_spatial_memory.py
以实际输出为准,预期旧缓存无法应对这次位置变化,更新方式能继续完成任务。使用种子 8 再运行一次,另存目录并修改检查程序路径。不要只保留成功模式;失败对照解释了更新为什么必要。
一个坐标还不是完整动作
空间记忆保存的目标中心,不等于末端应当直接到达的三维位置。例如,目标区在桌面附近,运输时应先移动到它的上方,再下降释放。若把目标物体的 z 值直接填入末端命令,可能违反技能高度范围。
因此,记忆查询得到的是几何依据,动作生成还要加入工具偏移、阶段高度与约束。将“目标在哪里”与“工具应该怎样接近目标”分开,能避免把控制参数污染到对象位置记录里。
记忆也不应无条件永久复用。一次实验完成后,另一回合的对象即使同名,也未必具有相同位置。本章不验证跨回合地图关联;每次命令均从新场景开始。需要持久化时,必须增加场景版本与重定位检查。
案例、验收与排错
阅读 MemS:目标碗被推走后会怎样。按同样五阶段寻找证据,区分已有录像、记忆记录与未提供的信息。展厅材料未提供无记忆消融,不能仅凭成功展示断言记忆带来多少因果提升。
验收需要两种模式的结果、至少一条带时间和来源的空间记录,以及“观察改变 → 记忆更新 → 动作改变”的完整说明。旧缓存的失败也是必须保留的结果。
若目标更新后仍走旧位置,检查执行器是否缓存了局部变量而没有再次查询。若最新记录反而更差,检查是否认错对象、使用错误坐标系或混用了物体中心与表面点。若所有记录都被标为有效,明确“有效”是否表示历史存在,还是允许当前使用;这两个含义不能共用一个模糊标签。
基础题:画出两个对象分别移动时的记忆表,保证它们不会覆盖彼此。进阶题:设计一个重新观察策略,比较按固定时间刷新与按动作事件刷新各自的开销和遗漏风险;先定义比较指标,再做实验。
基础题自查:至少为两个对象各留一条带身份的当前记录;A 移动后应更新 A 的位置和时间,B 的记录不能因此被当成 A 的旧值。当前 SpatialMemory 只维护一个蓝色目标,这道题先在纸上设计多对象结构。若只把两个对象依次传给同一实例,后者会替代前者,不能得到你画出的两对象记忆表。
本章通过重新读取状态获得了新位置。下一章回到图像,研究当目标看不清时,机器人能否先做一个有助于观察的动作。