Skip to main content

View as Markdown

Page content converted to Markdown. Use the original page link at the end to explore interactive graphics.

Quaddle 多场景实验:结果与失败分析

四个舵机能让它走到哪里?先看哪些动作做到了,再看失败发生在哪里,最后自己复跑一次实验。首次使用请先完成入门页的安装。

后续优化记录

本页保留2026-11-10的分场景基线与失败回放。2026-11-16的高频慢行方向优化、最新对照及仍未解决的瓶颈,见优化进展与瓶颈;原腾空跑、原始坑洼和4 mm上台阶仍未通过。

当前结果​

能展示:行走、停走转向、上下坡、下台阶、平缓坑洼。还需改进:上台阶、原始随机坑洼、跑步。

v0.1 · 2026-11-10。“OK”只表示在所列仿真条件下通过,各场景使用独立配置。硬件尚未到货、模型未实测标定;这不是全场景通用策略或真机结果。

场景动作结果原因 / 说明
平地向前行走✅ OK能持续行走,完成测试路线。
平地停止、再起步、转向✅ OK能停稳、再起步并转向;10组复测通过。
3° / 5° 上坡沿坡向上走✅ OK两种坡度均完成测试路线。
3° 下坡沿坡向下走✅ OK完成测试路线,姿态和关节速度合格。
4 mm × 3级台阶下台阶✅ OK调参后能走到终点,姿态和关节速度合格。
平缓坑洼(高差 ≤2 mm)向前行走✅ OK能通过平缓地形;不代表原始随机坑洼通过。
2 mm × 3级台阶上台阶⚠️ 不稳定正常起点能过;换起点后会走偏,6个新增条件均未通过。
随机坑洼(±3 mm)向前行走❌ 未通过走得太慢、没到终点;续训后仍未通过。
平地跑步❌ 未通过跑速不足,且关节速度超限。
4 mm × 3级台阶上台阶❌ 未通过推进不足、偏航超限;已暂停继续优化。

3°和5°上坡合并为一行,表中6行OK对应基础版7项任务。上坡从斜面上起步;平缓坑洼的高差限制同时包含内部相邻格与进出口。浅水近似、已知地图绕障不列入本版通过能力。

原始检查数据:平地、3°上坡、5°上坡、3°下坡、4 mm上台阶。其余数据在对应视频的详情中。

下方“原因”指实测未通过项;它不证明机构无法完成任务。所有视频来自实际物理回放,保留启动和失败过程。

看视频,比较改动前后​

平地停走与转弯​

平地|行走、停止、再起步、转向 · 当前版本

能停稳、再起步并按指令转向。

测试条件与指标

视频为 40 秒标称序列;表中指标属于这一段视频。十组复测的最大段末误差为 8.583°、最大关节速度为 8.149 rad/s。

方法:反馈控制;前进:0.966 m;航向:6.42°(段末误差);关节峰值:7.99 rad/s。对应数据。

停止时保持支撑姿态,再逐渐改变目标航向。十组有限条件复测通过;这是反馈控制,不是PPO。转弯是行走中的弧线,不是原地旋转。

下台阶增加推进余量​

同一联合扰动下,旧配置没有走到0.72 m终点。步频增加6%、航向增益调整后通过。

4 mm × 3级台阶|下台阶 · 调整前

没走到终点:0.705 m,目标 0.72 m。

测试条件与指标

4 mm × 3 级;初始航向 −3°、摩擦系数乘 0.9。

方法:周期步态;前进:0.705 m;航向:14.40°;关节峰值:8.94 rad/s。对应数据。

4 mm × 3级台阶|下台阶 · 调整后

已走到终点,姿态和关节速度合格。

测试条件与指标

与左侧相同地形和初始条件。这里展示的是参数调整,不是 PPO 训练。

方法:周期步态;前进:0.738 m;航向:13.70°;关节峰值:8.94 rad/s。对应数据。

上台阶换起点就走偏​

保持配置不变,只将初始航向改变+3°,通过结果就消失了。后续六个新增条件也全部未通过,因此2 mm上台阶只标“不稳定”。

2 mm × 3级台阶|上台阶 · 正常起点

本段通过,但换起点或摩擦后仍会失败。

测试条件与指标

2 mm × 3 级;每级深 12 cm。标称通过不代表所有起点通过。

方法:接触协调;前进:0.910 m;航向:24.32°;关节峰值:8.92 rad/s。对应数据。

2 mm × 3级台阶|上台阶 · 起始航向 +3°

走偏了:最大偏航 32.97°,要求小于 25°。

测试条件与指标

同一控制配置和台阶,只将初始航向改为 +3°。该失败回放按存档参数重新录制,未重新训练。

方法:接触协调;前进:0.724 m;航向:32.97°;关节峰值:9.59 rad/s。对应数据。

坑洼地形与策略的区别​

两段使用同一个旧PPO,没有新增训练。原始地形独立随机生成±3 mm高度,相邻格最大跳变约5.76 mm;平缓地形将相邻格和进出口高差限制到2 mm以内,也改变了高度分布。

随机坑洼(±3 mm)|向前行走 · 旧 PPO

走得太慢、没到终点:0.296 m,目标 1.04 m。

测试条件与指标

独立随机 ±3 mm 地形,相邻格高差最高约 5.759 mm。

方法:残差 PPO;前进:0.296 m;航向:22.26°;关节峰值:9.11 rad/s。对应数据。

平缓坑洼(相邻及进出口高差 ≤2 mm)|向前行走 · 当前版本

已走到终点;这块地形比原始随机坑洼更平缓。

测试条件与指标

内部相邻格及进出口高差 ≤2 mm;不是原始坑洼通关,也不能把变化全部归因于单一高度因素。

方法:残差 PPO;前进:1.449 m;航向:10.57°;关节峰值:8.93 rad/s。对应数据。

续训后仍未完成任务​

对照上一节的原始坑洼视频:续训后前进距离约从0.296 m变为0.302 m,仍远未达到1.04 m目标。续训同时调整了环境和反馈,不能将差异全部归因于训练步数。

随机坑洼(±3 mm)|向前行走 · 续训后

仍走得太慢、没到终点:0.302 m,目标 1.04 m。

测试条件与指标

从旧模型续训 16,384 步的 checkpoint;同时改变了训练环境和反馈配置,不能视为只增加训练步数的纯消融。

方法:残差 PPO;前进:0.302 m;航向:21.26°;关节峰值:9.43 rad/s。对应数据。

跑步腾空不等于合格​

候选出现14个完整腾空区间,但均速约0.0456 m/s,低于0.1 m/s门槛;关节峰值约10.36 rad/s,高于10 rad/s限制。

平地|跑步 · 候选版本

跑得不够快,且关节转得过快;有腾空也未通过。

测试条件与指标

本实验要求均速 ≥0.1 m/s、至少 3 段持续 ≥10 ms 的完整腾空,并通过其余物理检查。

方法:周期步态;前进:0.912 m;航向:9.29°;关节峰值:10.36 rad/s。对应数据。

自己复跑一个场景​

先按入门页下载模型。在 codes/practices/quadruped/quaddle-mujoco/ 中安装包含PPO的依赖;这里使用 .venv-rl,与仅运行物理仿真的 .venv 区分。

uv venv --python 3.12 .venv-rl
uv pip sync --python .venv-rl/bin/python requirements-rl.lock
.venv-rl/bin/python baseline.py --verify-only
.venv-rl/bin/python baseline.py --case flat
.venv-rl/bin/python baseline.py --case stairs_down
# 重跑基础版七项;不包括上台阶实验
OPENBLAS_NUM_THREADS=1 OMP_NUM_THREADS=1 .venv-rl/bin/python baseline.py --case all
# Linux离屏录像;需要可用的EGL环境
MUJOCO_GL=egl .venv-rl/bin/python baseline.py --case interaction --video

先核对哈希,再看各场景输出中的检查项与回放。命令结束、模型保存都不等于任务通过。完整范围与输出位置见代码目录的 BASELINE.md、baseline.py;2 mm上台阶需要显式指定 --case stairs_up_demo。

我们怎么优化和训练​

方法本项目做了什么结果
步态调参调整步频、摆幅、支撑与摆腿阶段改善坡面和下台阶;上台阶仍对起点敏感
反馈控制支撑姿态停止、有界航向积分、目标航向渐变停走和转向十组条件通过
残差PPO在基准关节目标上学习小幅修正旧策略能通过平缓坑洼,原始坑洼续训后仍失败

PPO的观测、奖励和更新原理见入门页。这里不要混用三种接口:入门示例32维、旧地形策略36维、课程版本60维。恢复策略时,环境、权重、归一化统计和动作缩放必须匹配。

跑一轮地形课程训练​

课程版本增加地形、接触和历史信息。先从轻微坑洼开始,每16,384步保存策略及归一化统计并评估,通过当前级别的开发检查和独立条件门槛后才升级。低级地形通过不代表原始地形通过。

OPENBLAS_NUM_THREADS=1 OMP_NUM_THREADS=1 .venv-rl/bin/python check_curriculum.py
OPENBLAS_NUM_THREADS=1 OMP_NUM_THREADS=1 .venv-rl/bin/python train_curriculum.py \
--scene rough --gamma .999 --chunks-per-level 2 --output outputs/curriculum/rough_g999
# 训练完成后,检查保存策略的观测与动作接口
.venv-rl/bin/python check_curriculum_policy.py \
outputs/curriculum/rough_g999/level1_steps16384
# 再独立检查原始目标地形
OPENBLAS_NUM_THREADS=1 .venv-rl/bin/python evaluate_curriculum_target.py --arms rough_g999

查看训练目录中的 progress.json、各checkpoint的 evaluation.json / gate.json 和目标筛查报告 target_screen.json。best_checkpoint只是课程评分最好,并不保证原始任务通过。续训使用 --resume 指定兼容的版本2 checkpoint,折扣系数必须匹配;上面的新训练命令并不保证复刻下面续训案例的耗时和结果。

一笔实际续训用了多少资源​

这笔训练的元数据记录了原始坑洼的一段CPU续训:新增16,384步,继承16,384步,总计32,768步;记录耗时约127秒,seed为43,60维观测,残差范围±0.25 rad。这只是一段续训的耗时,不是项目总耗时,也不能据此预测训练到成功需要多久。平缓坑洼展示使用旧策略,最终停走与台阶优化这一轮新增PPO步数为0。

继续实验前,先检查这些问题
  • 起步就上仰:检查初始支撑姿态与启动阶段,别只看正式运动后的统计。
  • 卡在台阶前:查看前后腿支撑与摆腿时序、接触力、目标追赶限制,再决定是否继续训练。
  • 走远却偏航超限:同时检查任务距离和方向,不能只按距离选模型。
  • 换地形才通过:保持权重不变做对照,明确收益来自地形还是策略。
  • 训练结束仍失败:保留独立评估与失败回放,检查奖励是否鼓励停滞、滑行或跳动。

动手试一试​

  1. 先预测: 同一台阶配置,只把起始朝向改为+3°,最先失败的是距离、偏航还是关节速度?看上台阶对照核验预测。
  2. 只改一个变量: 用下方命令改变坡度,保持配置不变。分别保存输出,比较完整启动阶段、距离和偏航,不覆盖上一次结果。
  3. 设计验收: 给“学会停走”写三项检查,再对照停止漂移、行走段前进距离与段末航向误差,解释为何总奖励不够。
.venv-rl/bin/python validate_walk.py --seconds 20 --slope-deg 3
# 先另存 outputs/walk_validation.json,再运行下一组
.venv-rl/bin/python validate_walk.py --seconds 20 --slope-deg 5

下面保留早期诊断过程,它们不是当前能力表;其中5°上坡的早期失败不与当前独立配置的通过矛盾。

展开早期坡面诊断、场景定义与浅水近似

换个地面,它还会走吗?​

平地走通后,可以先做一个小实验:保持控制器不变,只改变摩擦或坡度。2026-11-09 在 Linux、Python 3.12.13、MuJoCo 3.16.0 上,修正启动前的基线复跑得到:

场景指令行走时长前进距离最大航向偏差检查结果
默认平地60秒4.58 m12.84°通过
所有几何体统一摩擦0.612秒0.92 m83.76°姿态、航向超限
所有几何体统一摩擦1.012秒0.77 m44.76°横向偏离、航向超限
3°上坡20秒1.24 m19.29°机身触地、姿态超限
5°上坡20秒0.44 m31.44°触地、姿态、速度、航向、足端支撑未通过

默认平地不是“所有摩擦都设为0.8”;统一摩擦会覆盖全部几何体。上述结果是固定初始状态的单次确定性实验,详细检查与轨迹保存在源码的 reports/ground_readiness_2026-11-09.json,不能据此推断真机表现。

# 先检查实际碰撞平面的法线与机身初始姿态
.venv/bin/python check_terrain.py
# 平地与两组摩擦干预
.venv/bin/python validate_walk.py --seconds 60 --sensitivity
# 正角度沿机器人初始前方上坡;输出仍写入 outputs/
.venv/bin/python validate_walk.py --seconds 20 --slope-deg 3
MUJOCO_GL=egl .venv/bin/python render_demo.py --seconds 10 --slope-deg 3 --output uphill3

坡面实验的前进距离沿坡面计算,离地高度沿坡面法线计算。否则机器人沿坡升高,会被误判成抬高机身。当前航向反馈仍使用仿真世界坐标真值,还需要对照试验来判断反馈、步态和接触参数各自的影响。

试一试:先预测提高摩擦会让它更稳还是更容易转偏,再看录像与触地统计。只调一个变量,保留失败录像;“向前移动了”与“通过步行检查”是两个不同的结果。

一个具体修复:起步时为什么会抬头?​

旧控制器启动时先保持舵机零位2秒,再从零位增加行走摆幅。零位在坡面上不是稳定支撑姿态,机身在正式行走前就已明显上仰;原来的行走统计又跳过了前2秒,容易漏掉这一阶段。

现在使用前腿 0.2 rad、后腿 -0.4 rad 的支撑偏置(应用各电机方向符号之前),用50毫秒平滑曲线开始建立支撑,仍受8 rad/s目标变化率限制,因此并非50毫秒内强行到位。保持支撑后,在原有1.5秒起步窗口内逐渐切换到周期步态。100 Hz控制更新现在也覆盖等待阶段;初始化已有平滑曲线,避免再叠加模式切换的350毫秒渐变而拖慢建立支撑。

新增检查覆盖完整的前3.5秒(支撑+起步):相对坡面的最大绝对俯仰须小于15°,且机身不能触地。原有行走、力矩、速度、接触等门槛没有放宽。

场景修复前/后起步最大俯仰修复后完整检查
平地60秒9.95° → 3.84°通过,前进4.51m
3°上坡20秒40.35° → 3.93°通过,前进1.17m,无机身触地
5°上坡20秒51.50° → 4.02°上仰和触地消除,但前进速度、足端支撑、连续前进仍未通过

角度均相对坡面,不能与相对水平的角度混用。这是对固定模型、初始状态和这几个开发用例的参数调试,尚非扰动测试或实机标定;统一摩擦0.6/1.0用例仍未全部通过。完整前后对照见源码 reports/startup_fix_2026-11-09.json,旧配置保留在 reference/pre-slope-startup-gait.json。

.venv/bin/python check_startup.py
# 修复后
.venv/bin/python validate_walk.py --seconds 20 --slope-deg 3
# 同一模型、同一坡度的修复前对照
.venv/bin/python validate_walk.py --seconds 20 --slope-deg 3 --config reference/pre-slope-startup-gait.json

比较时分别保存输出;两个命令会写入同名 outputs/walk_validation.json。录像已增加地面倾角、相对坡面俯仰和支撑/过渡/行走阶段标注,保留完整启动过程。

把周会里的环境做成一组可重复实验​

scenario_matrix.py 提供9个场景,每个场景都可以分别运行行走和跑步候选,生成真实动力学录像、检查项和CSV轨迹。场景几何与控制结果分别记录,遇到失败也保留完整启动和回放。

场景名本轮参数与任务
flat默认平地,前进至少0.72m
uphill3、uphill5从3°/5°坡面上起步,沿坡前进至少0.72m
downhill3从-3°坡面上起步,下坡前进至少0.72m
stairs_up、stairs_down3级台阶,每级高4mm、深12cm;下台阶从最高平台起步
rough固定seed=7生成±3mm起伏,包含低于起始平面的坑;穿过粗糙段到达1.04m
avoid6cm高障碍,已知地图A*规划、障碍膨胀9cm,闭环跟踪到1m目标附近
water8mm浅水近似,经过水区并到达1.15m;参数见下文

台阶是按这个小机器人建立的探索档位,不代表已经能爬家庭楼梯。坡面任务从斜面初始状态开始,尚未包含平地进入坡面的折角。绕障使用仿真真值定位和已知地图,尚无视觉感知或在线建图。

# 先检查碰撞几何、路线净空和浅水受力方向
.venv/bin/python check_scenarios.py

# 单场景,不需要图形窗口
.venv/bin/python scenario_matrix.py --scene stairs_up --mode walk --seconds 20

# 9个场景 × 2种控制候选;Linux离屏录像需要EGL
MUJOCO_GL=egl .venv/bin/python scenario_matrix.py --scene all --mode both --seconds 20 --video --workers 2

# 打开生成的互动视频总览
.venv/bin/python -m http.server 8012 --bind 127.0.0.1 --directory outputs/scenario_matrix

最后在浏览器打开 http://127.0.0.1:8012。总览可以切换行走/跑步候选、播放各段回放和打开检查项。每组另有 metrics.json、trajectory.csv;视频保存为对应子目录中的 video.mp4。输出目录保留失败结果,命令正常结束只表示矩阵运行完成,是否通过须看结果表。每组为20秒运动指令加2秒启动;这些都是单一初态的确定性开发测试。

跑步怎么验收?​

run_attempt 是经过小规模频率/相位筛选的周期控制候选,固定参数保存在 reference/run-candidate.json。目前筛选没有得到合格跑步,因此图表与录像使用“跑步候选”标记。

本轮保守采用有腾空相的验收:均速至少0.1m/s,至少3个完整的无地形接触区间,每段持续至少10ms,同时通过姿态、触地、任务目标、力矩和关节速度等检查。这不是所有动物/机器人跑步步态的通用定义;它用来阻止本实验把单纯提频、原地弹跳或摔倒中的离地误写成会跑。接触统计包含机身、下腿和脚轮;启动下落不计入跑步腾空段。

浅水近似里到底算了什么?​

水区只在前方0.15–1.05m、横向±0.22m内施加环境力。四个足端与四个下腿采样点使用假设的等效球,半径分别为4.5mm与5mm;根据浸没球冠体积计算浮力,再按局部速度计算二次阻力:

本轮取水密度1000kg/m³、阻力系数1,地面滑动摩擦另假设为0.55。每一步清除并重新计算这些力,报告阻力耗散、最大采样力和接触水的步数;水面几何不参与刚体碰撞,不能给机器人提供一块透明支撑板。

这些等效体积、阻力与湿地摩擦尚未标定,没有浪、飞溅、渗水、电气防护或流固耦合求解。浅水任务通过只适用于这些假设,真机涉水还需要厂商确认整机防护与使用条件。MuJoCo流体近似说明

试一试:只改台阶高度或水深,先预测哪个检查会最先失败;然后保留原模型与控制配置,观察触地、速度和轨迹。原有控制器读取仿真真值,接实机前仍要完成接口与状态估计适配。

展开停走与转向的实现记录

停走、转向与分场景基础版​

2026-11-10 的 Python 基础版补上了支撑姿态停止、再次起步,以及 ±20° 范围内的行走转向。先试“走—停—再走—转弯—停”,再交换两个转弯的顺序:相同指令、不同动作历史,也可能暴露接触控制问题。

这次曾遇到两个具体失败:停止时关节归零,导致再次起步上仰;目标航向突然跨越 40°,导致反向转弯偏航。改为支撑姿态停止、有界积分补偿和每秒 10° 的目标航向过渡后,固定参数的十组复测通过。它们是指定条件的仿真检查,尚无真机结果;网页上方仍运行原控制器。

停走与转向的指令和实际航向

在源码目录安装依赖后,可运行:

.venv-rl/bin/python baseline.py --verify-only
.venv-rl/bin/python baseline.py --case interaction
.venv-rl/bin/python command_interaction.py --interactive

键盘 W 行走、S 停止、A/D 调整目标航向、Q 退出;这是行走转弯,不是原地旋转。无显示器时使用第一种回放方式;加 --video 并设置 MUJOCO_GL=egl 可以录制实际仿真。

基础版另包含平地、3°/5° 上坡、3° 下坡、4 mm 三阶下台阶,以及相邻格高差受限的平缓坑洼,使用各自的配置。2 mm 三阶上台阶仍是实验项:标称通过,但本轮没有找到同时适用于正常与 +3° 起步的新配置,六个新增条件也都未通过。因此它不在 baseline.py --case all 的通过清单里。

完整范围、验收方式和复跑命令见源码目录中的 BASELINE.md;reference/baseline-v0.1.json 固定了代码、模型、控制参数与旧 PPO 权重的哈希。本轮没有新增 PPO 训练。