跳到主要内容

查看 Markdown

页面正文已转为 Markdown。交互图形可通过文末链接在原网页查看。

Quaddle VLA 实施现状与计划(2026-11-15 更新)

团队进度汇报文档。接续 experiment-notes.md(v4/v5 试验记录)。 所有时间均为北京时间。


一、项目目标​

让 Petoi Quaddle(4 舵机桌面四足)在 MuJoCo 仿真中实现语言指令驱动的视觉导航: 听懂 "walk to the {color} block",从任意初始朝向(含目标正后方)自主走到指定颜色 积木旁(12cm 内)停下。验收指标:seed 7000 三场景闭环成功率 3/3,20 episodes 扩展统计 ≥60%(基线 v1-v3:1/3,rear 场景全失败)。

目标达成对齐(2026-11-13 更新)​

结论:验收达标 🎯 —— 2D 18k + 评估期 temporal ensembling(无需重训)实现 seed7000 3/3 + 20eps 17/20=85%(≥60%)。 此前训练侧杠杆均失败,评估期 ACT 式时间集成 (重叠 chunk recency 加权平均)首次突破 OOD 自旋 compounding error。

✅ 已达成:

能力证据
语言→视觉导航核心能力成立成功例覆盖红/绿/蓝三色;ep2 blue 多版稳定 ~2.8s 到达
部分 rear/任意朝向处理从 v3"rear 全失败"进步到"先转向再直行"混合导航
顺畅稳定底层行走原始步态(kp=0.15)upright、69.8mm/s、弹跳 0.86mm,无需改模型
全自动训练-评估管线 + 8.2x 加速采集→训练→评估闭环;30k 续训 ~13min
任务可解性上界脚本专家 21/21 到达——任务可解,差距在 learned policy

✅ 验收达标(2D 18k + temporal ensembling,无需重训)+ 其余待办:

目标要求当前最佳状态
seed7000 三场景3/33/3(ensembling)✅
20eps 扩展≥60%18/20=90%(18k+ensembling+seq-depart 微调;微调前三跑 17/17/16)✅
《细化方案》L2 导航≥70%90%✅
rear 专项可靠到达ensembling 下 rear 场景可达✅
L1 指令跟随 ≥90%≥90%100%✅
L3 避障 / L4 组合≥50% / 触发+顺序80% / 85%(任务分解,2026-11-15,详见)✅
真机交接12 月未开始⬜

瓶颈与突破:OOD 自旋 compounding error 曾使所有训练侧杠杆失败(加训练过拟合、 #3 1D、#4 开环恢复、DAgger 均 ≤3/20)。评估期 ACT 式 temporal ensembling(重叠 chunk recency 加权平均,replan5/k=0.01)首次突破:平滑 chunk 间冲突、抑制自旋锁,20eps 17/20=85%。 新 best = 2D 18k + ensembling。

L2 导航 best:SmolVLA 18k + temporal ensembling + seq-depart 微调(VLA 策略 rollout,960×720 25fps、1x 真实速度、逐集指令标注; 18k+ensembling 三次评测 17/17/16——GPU 非确定内核致 ±1 集波动,首评 17/20=85%)

训练方法:SmolVLA 450M 冻结骨干只训动作专家;352 条 CPG 专家数据(252 常规+100 恢复); batch32/AdamW+cosine 18k 步(8.2x 加速管线);评估期 temporal ensembling(replan5/k=0.01)。 详见 experiment-notes.md。

丝滑版(50fps 渲染 + 3x 播放):同一策略的快速浏览版,动作连贯;播放期时间压缩只改播放速度、 物理轨迹不变(详见 experiment-notes.md#gif-playback)。

L2 导航丝滑版:50fps 渲染 + 播放 3x,动作连贯(VLA 策略 rollout)

非 VLA 对照(低层步态,无策略):原始 CPG 步态开环前进(kp=0.15,upright、69.8mm/s、弹跳 0.86mm), 证明底层行走顺畅、模型无需修改。

原始 CPG 步态开环前进——低层运控演示,非 VLA

本轮总结(2026-11-15):任务分解打破 L3/L4 架构上限​

不改模型、不加训练,仅把任务分解为"确定性编排器 + 已验证 L2 技能(85%)",端到端路线卡死的两个 进阶任务双双达标:L3 避障 10%→80%(16/20,≥50% 达标)、L4 条件组合 0%→85%(17/20,触发+顺序达标; "看到绿停" 10/10、"先红后蓝" red 达成 10/10 + blue 7/10)。判据/RNG/场景与基线逐字节一致(apples-to-apples)。 评估以高清定稿跑为准:960×720 mp4 直出(25fps、1x 真实速度、逐集指令标注)、策略噪声种子化。注意:种子固定采样, 但 GPU 非确定内核仍致跨跑 ±1 集波动(三次实测 L2 17/17/16、L4 16/17/17),达标余量充足。

维度结论
顺序/触发逻辑编排器确定性保证,切段 10/10 零失败——这正是端到端学不会的部分
blue 段残余失败(3/10)非编排问题:弱侧大角转向慢(净 ~5°/s)+ 贴块起步大方位角 OOD(训练分布空洞,flow 噪声下接近抛硬币)
信息界面编排器/反射层使用的 dist/bearing/障碍身份与策略自身输入 state[6:8] 同源,非新增特权信息;真机等价物 = 目标色跟踪器/障碍检测器
L4 辅助迭代无辅助 13/20 → 距离门控 14/20 → 纯方位 15/20 → +每段 60s 预算 16/20 → 高清定稿 17/20

L3 避障分解版:L2 技能 + 非目标块反射层,20eps 16/20=80%(VLA 技能闭环,960×720 25fps、1x 真实速度、逐集指令标注)

L4 条件组合分解版:编排器 + L2 技能,看到绿停 10/10、先红后蓝 7/10,合计 17/20=85%(960×720 25fps、1x 真实速度、逐集指令标注)

交付:eval_l4_decomposed.py / eval_l3_decomposed.py;高清成品 figs/quaddle_L3_decomposed_16of20.mp4(22.9MB)、 figs/quaddle_L4_decomposed_17of20.mp4(32.8MB)、figs/quaddle_L2_nav_ensemble_16of20.mp4(20.6MB,1x 真实速度版)。 追加(同日):sequential-depart 数据补丁(48 条"刚到站→异色目标"专家数据 + 续训 22k 步)—— L2 回归评估 18/20=90%(新最佳),L4 持平 17/20;残余 3 败定性为运动学瓶颈(详见 experiment-notes.md)。

本轮总结(2026-11-14)​

核心基线达标,进阶项与提速均探到明确边界。 本轮把"还能更快/更强吗"系统验证到底:

维度结论证据
L2 导航✅ 85% 达标18k + temporal ensembling,seed7000 3/3 + 20eps 17/20
L1 指令跟随✅ 100% 达标语言→档位映射
L3 避障❌ 10%(架构上限)200集15% → 600集10%,数据×3+训练×2 反略降
L4 条件组合❌ 0%(架构上限)200集0% → 600集0%,持平
训练提速8.2x 安全天花板K/V 缓存(NAS I/O 反慢 4x)、CUDA graphs(计算 bound 无收益+数值漂移)均实测否决
步态速度接受原始步态 ~70mm/s开环可达 108mm/s 但高速破坏二值闭环导航(~24%),原始近优

两条关键定论:

  1. 数据量/训练量不是瓶颈:L3/L4 扩到 600 集(×3)+ 12k(×2)+ 后方过采样仍不达标,证实是二值档位 450M VLA 的架构/任务复杂度上限(与 fast-gait 同源)。突破需连续动作空间/更强模型/任务分解,而非堆数据。
  2. 8.2x 是无损提速天花板:缓存类受 NAS I/O 限制(聚合读 ~600MB/s,K/V 每帧 4.1MB 喂不动),graphs 类只救 launch-bound 而本管线计算 bound(frozen_prefill 33ms + backward 29ms)。再提速需 FP8(数值风险)或蒸馏(换模型)。

交付:6 张 GIF 在本地 outputs/(L2×2 / L3 / L4 / 步态 / 环境),其中 4 张演示 GIF 已做播放期时间压缩(L2 3x、L3/L4 4x,30fps 运动补偿插值,物理轨迹不变——14-20 分钟合集压到 1.5-5 分钟,详见 experiment-notes.md);代码+文档 commit 本地 233da00+5eca35a(feat/quaddle-vla,按指示不推送)。详见 experiment-notes.md 的 #speed-ceiling / #fast-gait / #l3l4-expand。

二、技术方案(当前生效版本 v5)​

层方案
模型SmolVLA 450M(lerobot/smolvla_base:SmolVLM2 骨干 + flow matching 动作专家),LeRobot 0.6.1 微调
微调范围冻结视觉编码器与 VLM 骨干(~350M),只训动作专家 + 投影层(~100M,实测 99.88M/450M 可训)
环境《Quaddle 入门》MuJoCo 环境(quaddle-mujoco,官方 URDF 自建,MuJoCo 3.8.1),3 积木 + 3 相机(俯视/前视/斜视)320²,EGL GPU 渲染
动作空间2 维 [vx_dir, wz_dir]:forward=(1,0)、steer_left=(0,1)、steer_right=(0,−1)、stop=(0,0)——环境原生 duty 不对称转向(0.6-1.2 rad/s 准原地转)
专家查表 CPG 方位闭环:死区 ±12-40° 随机 + 0.4s 切档驻留 + 50% rear 过采样
数据352 条常规+恢复(~137k 帧)+ 48 条 seq-depart 补丁 = 400 条(lerobot v3.0 格式,官方 aggregate 合并)
训练batch 32 / AdamW + cosine,导航 18k(best);L1 6k / L3·L4 12k(8.2x 缓存管线,bf16)
算力cclab 工作台 loop-v7-gpu-0702:L20 24GB(缓存训练占用 3.4GB / util 100%)
任务分解(L3/L4)确定性编排器(指令→阶段计划)+ L3 非目标块反射层 / L4 转向辅助,复用 L2 技能(18k+ensembling);L3 80%、L4 85%

三、实施现状(时间线 + 结果)​

阶段内容状态结果
W1-W4(11-07~11)cs123 环境:MJCF 构建 / CPG 标定 / 400 条数据 / SmolVLA 三轮训练✅基线 1/3(rear 全失败);发现转向原语缺陷
v4(11-11)spin 原语 + 3 维动作 + 400 条(cs123 环境)⏹ 中止专家验证 23/24 ✅;训练 40% 时环境统一决策,归档
环境迁移VLA 管线迁移到《Quaddle 入门》环境✅结构兼容、转向重扫描、专家重验证
v5 转向扫描7 候选步态开环扫描✅steer_L 1.22 / steer_R 0.61 rad/s;pivot 不迁移
v5 专家闭环两 seed × 21 场景✅21/21 到达、零翻倒
v5 数据4 worker × 63 条 = 252 条✅90k 帧,成功率 87.5%
v5 训练+评估batch32 / 6k 步✅seed 7000 1/3,20 eps 2/20
五轮诊断数据/fm/量化/重规划/训练观测✅根因:OOD 自旋转状态坍缩(详见 experiment-notes)
v5.1 恢复数据+100 条恢复数据重训✅ 证伪2/20 持平——该假设在此配比下不成立
v5.1-ext 延长训练同数据 18000 步(1.4 → 4.2 epochs)✅seed 7000 1/3,20 eps 6/20
训练极限加速视觉缓存+梯度分裂+flash+compile✅509→62.5ms/step(8.2x),数值等价,显存 11.4→3.4G
v5.1-30k-fast加速管线续训 18k→30k(7 epochs)✅seed 7000 1/3,20 eps 5/20——训练量假设饱和
v5.1-43k-fast续训 30k→43k(10 epochs)✅20 eps 2/20——过拟合恶化,加训练路线关闭
v6 #3/#41D 档位动作 + 扩量恢复数据,重采重训✅ 阴性Exp A 3/20、Exp B 2/20——均不及 2D 基线 6/20,三杠杆全证伪
DAgger 闭环恢复策略 rollout OOD 态+专家标签,18k→24k✅ 阴性3/20,未突破
temporal ensembling评估期 ACT 式时间集成(replan5/k=0.01,无需重训)✅ 突破seed7000 3/3 + 20eps 17/20=85%,验收达标
L1 指令跟随语言→档位采集200+加速训6k+eval✅100% 一致率(≥90% 达标)
L3 避障障碍排斥专家采集200+训6k+eval✅ 未达标3/20=15%(<50%)——避障泛化不足
L4 条件组合看到绿停/先红后蓝 采集200+训6k+eval✅ 未达标0/20——条件触发/子任务顺序未学会
L3 避障扩充600集(×3)+训12k(×2)+后方过采样✅ 阴性2/20=10%(不及200集15%)——数据量非瓶颈
L4 条件扩充600集(×3)+训12k(×2)+60/40任务配比✅ 阴性0/20(持平)——架构/任务复杂度上限
环境统一文档教程交叉引用+两套环境差异说明✅index.md 已注明 cs123 弃用/quaddle-mujoco 生效
真机 OpenCat 映射opencat_bridge.py 档位→kwkF/ktrL/ktrR/kbalance✅ 接口就绪真机采数据/后训练待 12 月硬件
GIF 播放优化4 张演示 GIF 时间压缩(cclab 分块上传→ffmpeg 30fps 插值→分块回传,md5 全程校验;北京时间 23:35 完成)✅L2 3x / L3·L4 4x,时长 14-20min → 1.5-5min,物理轨迹不变(详见)
任务分解 L3L2 技能 + 非目标块反射层(判据/RNG 镜像基线)✅ 达标16/20=80%(基线 2/20;≥50% 线达标;首跑 17/20)
任务分解 L4编排器 + L2 技能 + 转向辅助 + 每段 60s 预算(迭代 13→14→15→16→17)✅ 达标17/20=85%(基线 0/20;触发 10/10、red 达成 10/10、blue 7/10)
seq-depart 微调48 条"刚到站→异色目标"专家数据 + 从 18k 续训 22k(30 分钟)✅L2 18/20=90%(新最佳);L4 持平 17/20——B 段残余瓶颈定性为运动学(详见)

v5.1-ext / 30k 关键结果(训练量单变量对照)​

配置epochs20 eps 成功率
v5(6k 步)1.42/20
v5.1(6k + 恢复数据)1.42/20
v5.1-ext(18k 步)4.26/20(30%)
v5.1-30k-fast(30k 步)7.05/20(25%)
v5.1-43k-fast(43k 步)10.02/20(过拟合恶化)

欠拟合假设部分成立但已饱和并转为过拟合:6k→18k 训练量三倍 → 成功率三倍(2→6),行为质变; 但 18k→30k→43k(6→5→2)单调恶化,训练 loss 仍降(0.073→0.054→更低)而闭环成功率下降。 瓶颈已从欠拟合转为 OOD 自旋态 compounding error + 过拟合——加训练路线关闭,转向动作空间 重设计(#3)与恢复数据扩量(#4)。

已排除的假设(五轮诊断证据链,记录于下方与 experiment-notes)​

  1. 数据不均衡 ❌(90k 帧统计:三档位 44/32/24%,rear 区对称)
  2. flow matching 积分步数 ❌(fm10 = fm20)
  3. 量化器偏差 ❌(硬约束后 2/20 持平)
  4. 推理重规划间隔 ❌(2.5s → 0.5s 行为改善但不达标)
  5. 模型容量/训练 ✅ 部分成立但已饱和(6k→18k 单调增益,18k→30k plateau;loss 仍降但闭环不升)
  6. 恢复数据(28% 配比)❌ 暂证伪(不排除更长自旋态覆盖有效)

四、下一步计划(待决策 / 顺序已排)​

#方案成本预期
1继续加大训练:30k 步(~7 epochs)→ 视结果 43k(~10 epochs)4.3-6h/轮 ~13min/轮(8.2x 加速后)按当前曲线外推 40-50%+
2bf16 AMP 修复 已被 8.2x 缓存加速取代(见 experiment-notes#fast-train)已完成视觉缓存+梯度分裂+flash+compile,509→62.5ms/step,数值等价
3单通道档位动作编码(mode ∈ {−1,0,+1})重采重训半天消除 vx/wz 联合外推空间(v5 诊断:模型外推出数据中不存在的 vx<0)
4恢复数据扩量:warmup 6s → 15-30s + 防翻安全偏置半天覆盖更长自旋 OOD 态
5环境统一文档:教程页交叉引用 + 两套环境差异说明30 分钟防混淆

当前推荐路径(2026-11-15 更新):L2/L1/L3/L4 全部达标(90%/100%/80%/85%)。L3/L4 由任务分解 达标(experiment-notes #decomposed);seq-depart 数据补丁已落地 (L2 →90%,L4-B 残余 3 败定性为运动学瓶颈)。剩余可做:① 弱侧转向运动学瓶颈需步态层解(与 #fast-gait 结论一致,超出本轮范围);② 真机 OpenCat 交接(12 月硬件)。

训练加速里程碑(2026-11-12)​

训练过程极限优化落地:509ms/step → 62.5ms/step(8.2x),显存 11.4G → 3.4G,数值等价 (梯度 cosine 0.996+)。核心:冻结图像嵌入缓存(跳过占 52% 的视觉编码器)+ 梯度分裂前向 (反向只穿过 51 个可训练 token)+ flash SDPA + torch.compile。2026-11-14 进一步实测确认 8.2x 为安全天花板: 前缀 K/V 缓存(NAS 聚合读 ~600MB/s 喂不动每帧 4.1MB 的 K/V,反慢 ~4x)与 CUDA graphs(管线计算 bound, graphs 只省 launch 开销、无收益且数值漂移)均否决。再提速需 FP8(数值风险)或蒸馏(换模型)。详见 experiment-notes.md#fast-train 与 #speed-ceiling。

五、资产清单​

类型位置(工作台 loop-v7-gpu-0702 / 本仓库)
数据集工作台 quaddle-mujoco/outputs/dataset_w0..3(常规)+ dataset_r0..3(恢复)+ dataset_merged51(352 条合并,lerobot v3.0)
模型outputs/smolvla_quaddle_v51/checkpoints/last(6k)、smolvla_quaddle_v51_18k(18k)
代码仓库 quaddle-mujoco/:采集(collect_v5 / collect_l1-l4 / collect_seq_depart)、训练(build_cache_v5 / train_cached_v5 / cached_smolvla / init_1d_v6)、评估(eval_rollout_v5 / eval_ensemble_v5 / eval_l1-l4 / eval_l3-l4_decomposed)、接口(opencat_bridge)
评估 GIFrollout_v5 / v5_fm20 / v5_eval20 / v51 / v51_18k(本地仓库 outputs/ 已同步 2 张)
教程定稿媒体仓库 docs/practices/vla/quaddle/figs/(已入库):L2 导航 mp4 + 丝滑 GIF、L3/L4 分解 mp4、步态 GIF,本页与 experiment-notes 已全部嵌入
文档experiment-notes.md(v4/v5 试验记录)、本文件

六、风险与备注​

  • 两套环境并存过渡期:教程环境为唯一 VLA 环境,cs123 环境已弃用(资产归档); 教程页需加交叉引用说明(待办 #5)
  • lerobot 0.6.1 已知限制:多数据集训练未实现(用官方 aggregate 绕过)、bf16 AMP GradScaler 兼容 bug(fp32 代替)、mujoco 3.8.1 与教程 WASM 3.16 物理版本不同
  • 数据/策略在两套环境间不可互换
  • 分支已重建并推送 fork:feat/quaddle-vla = c497aed(89084c14 基座线性 12 提交,末态树与原交接 bundle 逐字节一致); 总方案文档已移出版本库(本地保留);原版交接分支本地保留 feat/quaddle-vla-bundle;PR 未创建