机器人 Agent
整合与评测 / 第 14 章

学习一个局部运动技能

从示范样本拟合运动映射,理解适用范围

前面的动作主要由解析运动学与人工规则实现。现在换掉其中一个很小的部件:让一个从数据拟合出来的函数,预测机械臂到达指定平面位置所需的关节角。用这个可运行的小实验,理解数据、模型、技能接口与任务决策怎样分工。

前置要求是第 4 章两连杆运动学,以及 Python 列表和基本运算。本章会解释需要用到的矩阵形状;实验只使用 NumPy 和已有 MuJoCo 环境,无需下载大模型或准备 GPU。

本章目标

用已知运动学公式制作练习题,让一个小模型学会从目标位置预测关节角,再把预测角度送入仿真机械臂。你将比较训练区域内外的到达误差,并说明这个局部技能在 Agent 中可以承担什么职责。

Agent 与学习技能各负责什么

Agent 可以负责选择对象、排列子任务、检查结果与决定是否重试。一个学习技能则可以负责把某种观察转换成短时动作。技能内部可以是神经网络,也可以是本章的小回归器——“回归器”指预测角度、距离这类连续数值的模型。上层必须知道它的输入、输出和适用范围。

这种分工使我们能够单独改进一项能力。例如,学习型到达技能换掉解析逆运动学后,上层的任务记忆不必重写;但坐标系、目标可达范围、动作类型和成功反馈必须保持一致。名称相同并不足以保证接口可以替换。

本章具体学习“给定二维目标,预测两个关节角”。这是独立的到达实验:第 13 章解释器和第 16 章任务调度仍使用原有运动技能。先把一个学习部件测清楚,结尾再讨论接入 Agent 时需要怎样的接口。

第一步:写清楚监督学习问题

监督学习可以理解成“用带答案的例子学习规律”。一条样本是一道题与它的答案;模型根据题目做出预测,再调整参数,使预测更接近答案。答案在机器学习中常叫标签,调整参数的过程叫训练或拟合。

在这里,题目是“工具要去哪个 (x, y) 位置”,答案是“两个关节应该转到哪个 (q1, q2) 角度”。第 4 章的解析公式提供答案,因此把它称为解析专家。模型将来预测新位置时,只使用学到的参数。

每个样本由目标世界坐标 (x, y) 和解析专家输出 (q1, q2) 组成,高度固定为 0.18 米。专家沿用第 4 章选定的逆运动学分支,因此数据中没有“同一位置对应两个不同标签”的分支歧义。

将 80 个位置留作训练集,相当于练习题;另外两组各 20 个位置只用于测试,相当于没有参与训练的考题。

数据 位置范围,单位米 用途
训练集,80 点 x 在 -0.14 至 -0.02,y 在 0.02 至 0.14 求出模型参数
域内测试 ID,20 点 与训练集相同的矩形区域,重新抽点 检查相似条件下的新题
域外测试 OOD,20 点 x 在 0 至 0.15,y 在 -0.24 至 -0.12 检查训练区域外的新题

ID 是 in-distribution,表示测试点来自与训练相同的抽样范围;OOD 是 out-of-distribution,这里表示换到另一个位置范围。域内测试点并不是那 80 道训练题的重复,域外也不等于机械臂物理上不可达。

这些标签来自可计算的解析专家,不是人类遥操作,也不是从成功抓取视频中自动学出的动作。使用已知专家的价值,是能够明确判断学习器究竟逼近了什么。

第二步:从线性回归走到非线性位置映射

特征就是提供给模型计算的数。本章先将 x、y 各自减去训练集均值,再除以训练集标准差,得到 u, v;这样两个输入都以 0 附近为中心,典型变化量约为 1。这一步叫标准化。

每个位置随后变成六个数 [1, u, v, u², uv, v²]。加入平方项和乘积项,是为了让模型能表达弯曲的关系。以第一个关节为例,它预测的角度是 w0 + w1*u + w2*v + w3*u² + w4*u*v + w5*v²;六个 w 就是需要从数据求出的权重。

先用一组便于手算的数理解它,以下不是本次拟合的实际参数:假设 mean_xy=(-0.08, 0.08)、scale_xy=(0.03, 0.03),目标为 (-0.065, 0.05) 米。标准化后 u=0.5、v=-1,六项特征就是 [1, 0.5, -1, 0.25, -0.5, 1]。若第一关节的权重暂取 [0.1, 0.2, -0.1, 0, 0, 0],预测角度就是 0.1 + 0.2×0.5 + (-0.1)×(-1) = 0.3 弧度。真实训练要做的,是从 80 组例子求出这些权重,而非由我们随意指定。

把 80 行特征排成一张 80×6 的表,记为 Φ;把对应的两个角度排成 80×2 的表,记为 Q。矩阵只是把这些数值表组织起来,便于同时计算所有样本。

模型预测写成 Q_hat = ΦW,其中 W 为 6×2:每列负责一个关节。训练将每个预测角度与答案的差平方,再全部相加,寻找这个总误差最小的参数;这就是最小二乘。即使暂时不熟悉矩阵乘法,也可以先按上一段的单关节公式理解。

课程使用 NumPy 的最小二乘求解器,直接从这两张数值表求出参数。参数由样本决定,改变训练数据会改变结果。函数的具体输入与返回值可查 NumPy 官方文档。

标准化参数只能由训练集得到,再原样用于两个测试集。若使用测试集重新计算尺度,评价流程就改变了模型输入,不再是同一个训练后固定的预测器。

第三步:训练,并实际执行预测动作

在已激活环境、包含 lab/ 的目录运行:

python lab/advanced.py learned-skill --seed 7 --out runs/ch14-learned

命令按“生成数据 → 拟合参数 → 预测测试点 → 在 MuJoCo 中实际执行 → 汇总误差”完成一轮实验。每个测试点都会从新场景开始,不会依次追踪一条连续轨迹。查看三个主要产物:

python -m json.tool runs/ch14-learned/dataset.json
python -m json.tool runs/ch14-learned/weights.json
python -m json.tool runs/ch14-learned/summary.json

dataset.json 包含 train_xy、train_q 与 test_xy;weights.json 保存特征顺序、mean_xy、scale_xy 与参数。初次运行先看较短的 summary.json,找到 groups 中的 id/ood 和 learned/analytic:后者分别表示学习模型与解析专家对照。

注意文件与正文的变量名:feature_order 写的是 x, y, x*x, x*y, y*y,这里的 x、y 指已经标准化的输入,也就是正文的 u、v。若直接将世界坐标按这个顺序代入保存权重,会漏掉标准化步骤。下面的重建代码先做减均值、除尺度,再创建六列特征。

逐点结果在 reach-results.json,记录预测关节、实际末端、误差及是否发生关节范围裁剪。由于本实验直接设置关节控制器,events.jsonl 为空属于正常情况;到达实验的详细记录应看 reach-results.json。

你可以用编辑器将下面的完整程序保存为 check_fit.py,再运行 python check_fit.py,亲手重建拟合步骤。该方式也适用于 PowerShell:

import json
from pathlib import Path
import numpy as np

folder = Path("runs/ch14-learned")
data = json.loads((folder / "dataset.json").read_text())
saved = json.loads((folder / "weights.json").read_text())
xy = np.asarray(data["train_xy"])
q = np.asarray(data["train_q"])
mean, scale = xy.mean(axis=0), xy.std(axis=0)
x, y = ((xy - mean) / scale).T
phi = np.column_stack((np.ones_like(x), x, y, x*x, x*y, y*y))
weights = np.linalg.lstsq(phi, q, rcond=None)[0]
print("参数形状:", weights.shape)
print("训练关节均方根误差:", np.sqrt(np.mean((phi @ weights - q)**2)))
assert np.allclose(weights, saved["weights"])

代码中,np.asarray 将列表转换为数值数组,column_stack 将六列特征并排,@ 表示矩阵乘法。种子 7 应打印参数形状 (6, 2),训练角度均方根误差约 0.000765 弧度;这个误差是“平方误差取平均后再开方”,单位与角度相同。

最后的 assert 用来检查重建参数是否与保存文件一致;通过时不会额外打印信息。即使训练角度误差很小,还要看实际工具是否到达目标。

这里把实际末端与目标的三维距离小于 0.02 米作为到达标准,与课程移动技能一致。物理执行能揭示控制跟踪和几何映射带来的误差,但没有执行抓取、释放或多阶段任务,因此这个达标率只能叫“到达达标率”。

第四步:解释域内与域外的差异

局部二次函数可以很好地近似一小段平滑关系;把目标移到训练区域之外,模型就需要外推。逆运动学中的三角关系、边界以及分支结构,不会因为局部训练误差很小就自动被全局学会。

发布前在 seed 7 上真实执行得到以下结果;它是本机当前版本的实验记录,不是所有机器的精度承诺:

测试区域 方法 2 厘米内到达 平均位置误差
域内 学习近似 20 / 20 约 0.115 厘米
域内 解析专家 20 / 20 约 0.107 厘米
域外 学习近似 6 / 20 约 4.110 厘米
域外 解析专家 20 / 20 约 0.107 厘米

解析专家在相同测试点仍能到达,说明这个对照中的主要困难不是目标本身不可达,而是学习近似的外推。保留域外失败,不把两组混合后只报告一个均值。先画出两个区域的位置关系,再解释模型在哪一块区域可靠。

做一次数据量自查:一共只有 40 个测试目标,每个目标分别交给学习模型和解析专家执行,所以产生 80 条到达记录;训练集的 80 个样本不计入测试成功率。域外学习模型的 6/20 是 30%,不能除以全部 80 条记录,也不能把解析专家的成功加进学习模型的分子。

用新的种子重做一遍完整训练:

python lab/advanced.py learned-skill --seed 8 --out runs/ch14-learned-seed8

这会改变抽样数据,不能当作“相同模型又测了一次”。比较结果时说明训练集也变了。若以后只想评价固定权重,需要单独实现加载和推理流程,不能把重新训练的命令误当成纯测试。

从单步误差走到长时行为

本章每个目标都是一次独立到达。更长的模仿任务中,模型的动作会改变下一时刻看到的状态,小误差可能将系统带到训练时没遇到的位置,后续预测进一步恶化。因此,低训练误差并不能代替完整任务评价。想继续研究这一问题,可以阅读 DAgger:它通过收集学习策略实际到达的状态、再请求专家标签来补充训练数据。本章先保留独立到达的实验范围。原论文

这也解释了为什么上层 Agent 仍然有作用:技能执行后需要观察是否达成,失败时需要选择重新定位、重试或更换方法。把模型装进技能接口,并不会让验收与恢复变得多余。

如何把学习技能交给 Agent 使用

如果要接入上层 Agent,可以把这个模型封装成“输入目标位置,执行一次到达,返回实际误差”的技能。上层负责决定何时调用以及失败后怎么办,模型负责技能内部的位置到关节映射。这是下一步接口设计,当前代码尚未将它接入毕业任务。

VLA 是 Vision-Language-Action,即视觉、语言到动作的模型。OpenVLA 将图像与语言要求转换为机器人动作,比本章只有二维数值输入的回归器承担更多工作。原始项目

要将一个具体 VLA 接入本课程式的上层调度,至少需要明确下表。它是接口设计作业,不是已经运行的接入代码。

部分 必须确定的内容
输入适配 相机视角、图像尺寸、语言子任务、模型要求的机器人状态
动作适配 输出是关节角、位移还是动作序列,单位、归一化与控制频率
执行边界 一次调用执行多长,何时重新观察,预算如何终止
结果返回 实际状态、技能是否达成、失败原因与任务验收

仅把一个七维数组接到控制器上,不足以证明接口正确;同样维度可能代表完全不同的动作含义。

下面的 RPent 案例展示了上层任务组织、学习型抓取技能与几何搬运的分工。观看时先找出抓取与运输两个阶段,再思考为什么它们可以采用不同的控制方法。

展厅阅读案例 · 与本课实验设置不同
高层选择动作,底层技能负责执行

看模型如何在抓取未完成时改写技能提示,以及如何利用腕部图像测量杯子相对夹爪的偏移,再补偿搬运目标。

输入:双相机 RGB-D + 标定 + 机械臂状态 + 冻结经验库。π₀.₅ 使用 LIBERO SFT 权重;固定版本官方流程关闭视频示范接口,模型加载、CPU 分割和数据记录作了本地适配。双色杯轨迹在末杯仍被夹持时触发原生成功,不声称松爪后双杯稳定放置。

完整案例、条件与来源 · 原项目

抓取对接触和局部动作的要求,与运输到一个几何目标不同,因此系统可以组合学习技能和解析控制。本章的小模型帮助你理解“学习部件”的位置;视频中的 VLA 使用另一套模型与接口。

验收、排查与练习

提交两次训练的产物,以及域内、域外两组结果。说明标签来源、六项特征、参数形状和 2 厘米标准,并明确没有训练 VLA 或抓取策略。

域内也很差时,先检查标准化、特征顺序和角度单位;关节拟合正常但末端差时,检查坐标偏移与实际控制执行;只有域外差时,先讨论训练覆盖范围,不能仅增加小数位数。

以上单行命令可直接用于 PowerShell。自行分析时,把多行 Python 保存为文件后运行,避免使用仅适用于部分 shell 的 heredoc。

基础题:解释为何不能把到达达标率写成整理成功率。进阶题:固定训练集,只改变特征中是否包含平方项,观察结果变化;下一章会把这种“每次只移除一个部件”的比较称为消融实验。

基础题应指出:本实验只执行固定高度的单次到达,没有检查抓住物体、释放到目标和最终稳定。再用手算例子自查特征:当目标恰好等于训练均值时,u=v=0,输入应为 [1,0,0,0,0,0];此时两个角度分别由权重表第一行给出。若算出全零向量,说明漏掉了恒为 1 的常数项。

本课程实验使用独立的简化教学环境。标为“展厅阅读案例”的录像采用各自的机器人与模型设置;标为“本课实验录像”的内容来自本课程代码的实际运行。
查看本章源文件 · 查看实验说明

学习进度仅保存在当前浏览器。