Capitoli
In questa pagina
2. 奖励设计与 PPO 训练
在第 1 章的零动作烟雾测试中,Flamingo 生成不到半秒就会拍在地上。在强化学习运动控制里,“把网络跑起来”往往只占 10% 的工作量,剩下 90% 都在回答两个问题:奖励函数怎么写才不会被策略钻空子(Reward Hacking)?训练出来的姿态拧巴或发抖时该调哪一项?
本章我们拆解 flat_env_stand_drive_cfg.py 与 mdp/rewards.py 中的 16 项奖励设计、域随机化配置与 co_rl 并行 PPO 超参数,启动 4096 环境 GPU 并行训练,并给出工程实践中最高频的四类病态步态排障手册。
本章目标
- 理解两轮足作为轮式倒立摆(WIP)的非最小相位动力学特征及其对奖励设计的启示
- 掌握 Flamingo 四大类共 16 项奖励函数的数学公式、权重比例与物理分工
- 读懂启动期、重置期与运行期(
13~15 s速度脉冲推力)三层域随机化机制 - 使用
scripts/co_rl/train.py完成 4096 环境并行 PPO 训练,并学会通过 TensorBoard 核心指标判断收敛阶段 - 能独立诊断并修复“前后劈叉弓步”“贴地蹲走”“原地高频搓轮”与“呆立不动”四类典型失败模式
前置阅读
2.1 轮式倒立摆的“反直觉”动力学:非最小相位特性
为什么不能只给 Flamingo 写一句“线速度越接近目标奖励越高”?
把 Flamingo 沿矢状面(前后方向)简化为一个质量集中在机身高度
- 如果车轮直接向前猛加速:轮轴瞬间前移,由于惯性机身质心落在后面,产生后仰角(
),重力力矩会把机身往后拽倒,机器人为了不摔倒只能被迫倒车,彻底背离目标速度! - 正确的物理动作序列(非最小相位响应):车轮必须先短暂向后微撤(反向加速),故意让机身质心向前倾出合适的俯仰角
;借助前倾重力分量获得向前的水平加速度后,车轮再顺势向前加速追赶质心,最终在匀速巡航时回归 。
这意味着在起步最初的几帧里,“正确的控制动作”反而会让瞬时线速度短暂变负!如果奖励函数设计不当(比如用无界的负平方速度误差惩罚,或者机身姿态锁得太死不允许微倾,亦或摔倒惩罚过轻),策略要么不敢动,要么直接飞扑拍地骗取前几帧的正向冲刺分。
2.2 Flamingo 16 项奖励函数全景拆解
打开 lab/flamingo/tasks/manager_based/locomotion/velocity/flamingo_env/flat_env/stand_drive/flat_env_stand_drive_cfg.py 中的 FlamingoRewardsCfg,全部 16 项奖励按工程职能可清晰划分为任务驱动、姿态与构型约束、安全边界惩罚、平滑与能耗正则四大模块:
1. 主任务驱动项(正奖励:提供前进与转向动力)
两项速度跟踪奖励均采用有界高斯指数核(Exponential Kernel),取值严格落在
- 为什么用指数核而不是负平方误差
? 当指令突变或遭遇外力猛推时, 会产生巨大的负分,导致总即时奖励 ,诱导机器人主动撞地提前结束回合(“自杀避罚效应”)。指数核在误差很大时平缓趋近于 0,在接近目标时斜率陡峭,天然保证主任务项恒正且有界。
2. 姿态与双腿对称构型项(防止劈叉、塌腰与晃动)
两轮足有 6 个腿部关节冗余自由度,如果不加构型引导,策略很容易学出“左腿往前伸、右腿往后蹬”的畸形劈叉平衡态。为此专门引入了高度保持与**左右腿镜像对齐(Alignment)**惩罚:
3. 全量 16 项奖励配置总表
| 模块 | 奖励项名称 | 核心公式 / 函数(mdp.*) | 权重 | 关键参数与工程意图 |
|---|---|---|---|---|
| 任务跟踪 | track_lin_vel_xy_exp | +2.0 | std = 0.25 m/s;最高优先级正向激励 | |
| 任务跟踪 | track_ang_vel_z_exp | +1.0 | std = 0.5 rad/s;差速转向角速度跟踪 | |
| 姿态构型 | base_height | -25.0 | target_height = 0.48 m;强力托住机身防止蹲坐 | |
| 姿态构型 | flat_orientation_l2 | -5.0 | 保持躯干近似水平,同时留出加减速微倾余量 | |
| 姿态构型 | lin_vel_z_l2 | -1.0 | 抑制机身上下颠簸弹跳 | |
| 姿态构型 | ang_vel_xy_l2 | -0.05 | 轻微阻尼横滚与俯仰角速度振荡 | |
| 姿态构型 | joint_deviation_hip | -1.0 | 约束髋侧摆回归零位,保持标准轮距立正 | |
| 姿态构型 | joint_deviation_shoulder | -0.5 | 鼓励大腿围绕直立中位工作 | |
| 姿态构型 | shoulder_align_l1 | -0.2 | 防劈叉关键项:强制左右大腿俯仰同步 | |
| 姿态构型 | leg_align_l1 | -0.1 | 防劈叉关键项:强制左右小腿折叠同步 | |
| 安全边界 | termination_penalty | -200.0 | 非法触地摔倒重罚(注意超时截断 time_out 不罚!) | |
| 安全边界 | dof_pos_limits_*(髋/肩/腿 3 项) | 越出软限位区间(0.8 倍硬限位)的超出量 | 各 -1.0 | 防止机械死点撞击限位块 |
| 安全边界 | undesired_contacts | 肩/小腿连杆接触力 | -0.5 | 抑制腿部连杆擦碰地面或左右互撞 |
| 安全边界 | joint_applied_torque_limits | -0.1 | 惩罚超出电机最大力矩被截断的饱和部分 | |
| 平滑能耗 | dof_torques_l2 | -5.0e-5 | 降低稳态发热与能耗 | |
| 平滑能耗 | dof_acc_l2 | -2.5e-7 | 抑制关节高频机械冲击 | |
| 平滑能耗 | action_rate_l2 | -0.01 | Sim2Sim/Sim2Real 核心平滑项:消除高频动作抖动 |
[!TIP] 读算账:一秒钟能拿多少分? 在 Isaac Lab 的
RewardManager中,每步汇总奖励会自动乘以控制步长。当 Flamingo 完美站立并跟踪目标速度时,每秒正收益上限约为 分,跑满 20 s回合理论最高总回报接近+60;而一旦中途摔倒,termination_penalty会按-200.0 * 0.02 = -4.0扣除瞬时重罚并立刻断送后续所有正收益。这种**“活着就有稳定正分 + 摔倒亏损未来收益”**的账本结构,彻底杜绝了自杀套利。
2.3 三层域随机化与周期性抗推训练
为了让策略在脱离 PhysX 理想环境后依然稳健,EventCfg(见 velocity_env_cfg.py 与 flat_env_stand_drive_cfg.py)在三个生命周期注入了物理摄动:
触发时机(mode) | 事件名称 | 作用对象与随机化范围 | 模拟的真实世界不确定性 |
|---|---|---|---|
startup(初始化一次) | physics_material | 所有连杆静摩擦 | 瓷砖、木地板、水泥地等不同地面抓地力 |
startup(初始化一次) | com_positions | base_link 质心偏移 | 电池安装偏心、线束与机载电脑配重不均 |
startup(初始化一次) | add_base_mass | base_link 附加质量 | 搭载传感器载荷或更换不同容量电池 |
reset(每回合重置) | reset_base / reset_robot_joints | 初始航向 | 上电瞬间非绝对垂直扶正的带扰初态 |
interval(每 13~15 s) | push_robot | 给机身直接叠加瞬时线速度脉冲 | 模拟人类用脚轻踹或路面突发磕绊冲击 |
2.4 启动 4096 环境并行 PPO 训练
PPO 核心超参数(FlamingoFlatPPORunnerCfg_Stand_Drive)
上游配置位于 lab/flamingo/tasks/manager_based/locomotion/velocity/flamingo_env/agents/co_rl_cfg.py:
| 参数名 | 设定值 | 说明 |
|---|---|---|
num_envs | 4096 | 单卡并行环境数(8 GB 显存若吃紧可调为 2048) |
num_steps_per_env | 24 | 每次更新每个环境采样 24 步(约 0.48 s),单批总样本数 98,304 |
max_iterations | 5000 | 总迭代轮数(总交互步数约 |
actor_hidden_dims / critic_hidden_dims | [512, 256, 128] | 三层全连接 MLP,激活函数 ELU |
empirical_normalization | True | 在线统计观测均值与方差并标准化输入 |
learning_rate / schedule | 1e-3 / adaptive | 基于 desired_kl = 0.01 自适应缩放学习率 |
gamma / lam | 0.99 / 0.95 | 折扣因子(有效视野约 100 步 = 2.0 s)与 GAE 平滑系数 |
num_learning_epochs / num_mini_batches | 5 / 4 | 每批数据复用 5 轮,切分为 4 个 24,576 大小的 Mini-batch |
执行训练与监控命令
在 flamingo_train 环境中运行以下命令启动无头高速训练:
conda activate flamingo_train
cd flamingo_isaaclab
# 启动标准 PPO 训练(2 帧观测堆叠,无头模式最大化吞吐率)
python scripts/co_rl/train.py \
--task Isaac-Velocity-Flat-Flamingo-v1-ppo \
--algo ppo \
--num_envs 4096 \
--num_policy_stacks 2 \
--num_critic_stacks 2 \
--max_iterations 5000 \
--headless
训练日志与权重默认按时间戳保存在 logs/co_rl/Flamingo_Flat_Stand_Drive/ppo/<YYYY-MM-DD_HH-MM-SS>/ 下,每 50 轮保存一个 model_<iter>.pt,同时自动将当次环境参数导出为可读的 params/env.yaml 与排版好的 PDF 参数手册!
另开一个终端启动 TensorBoard 实时观察训练动态:
tensorboard --logdir logs/co_rl/Flamingo_Flat_Stand_Drive/ppo
若训练中途中断,可通过 --resume True --load_run <目录名> --checkpoint model_2000.pt 无缝续训。
2.5 训练三阶段演进与四大病态步态排障手册
正常收敛的三个里程碑
- 求生站立期(Iter
0 ~ 300):Train/mean_episode_length从最初的15~30步(半秒倒地)迅速爬升至满额1000步(20 s不倒);Episode_Termination/base_contact趋近于0,Episode_Termination/time_out升至接近1.0;机器人学会用轮子高频微调锁死倒立摆平衡。
- 速度与转向解锁期(Iter
300 ~ 1500):Episode_Reward/track_lin_vel_xy_exp与track_ang_vel_z_exp持续走高;- 机器人掌握“先微退倾身、再加速追赶质心”的非最小相位加减速技巧,并能丝滑完成原地差速旋转。
- 抗推平滑打磨期(Iter
1500 ~ 5000):- 在
13~15 s随机1 m/s推力冲击下不再翻车,action_rate_l2与dof_torques_l2罚分逐步收敛减小,动作变得安静柔顺。
- 在
常见病态步态诊断与调参处方
如果你在自行修改机身高度、指令上限或移植新轮足模型时遇到以下四种典型“翻车现场”,直接对照下表定位病因:
| 观察到的异常现象 | TensorBoard 信号特征 | 根本物理原因 | 调参修复处方 |
|---|---|---|---|
| 1. 前后劈叉成“弓步”滑行(一腿前伸一腿后撤锁死) | 存活率高,但 shoulder_align_l1 / leg_align_l1 负分长期偏大 | 前后劈叉把单线支撑变成了等效长轴距前后轮,策略偷懒逃避倒立摆动态平衡! | 将 shoulder_align_l1 权重从 -0.2 加强至 -0.5 ~ -1.0,leg_align_l1 加强至 -0.3 ~ -0.5 |
| 2. 贴地深蹲蹭着走(膝关节过度折叠、屁股几乎擦地) | base_height 误差大,关节力矩偏高 | 降低质心高度能减小倾覆力矩,策略用“蹲下”换取更容易的抗推稳定性 | 检查 target_height=0.48 是否与 URDF 腿长匹配,适度提高 base_height 权重(如 -25 → -35) |
| 3. 原地高频搓轮嗡嗡发抖 | action_rate_l2 与 dof_acc_l2 居高不下 | 轮速度缩放 scale=40.0 较大,或未开执行器延迟导致策略学习极限高频振荡 | 确认开启 min_delay=0, max_delay=4;将 action_rate_l2 从 -0.01 调至 -0.02 ~ -0.05 |
| 4. 呆立原地拒绝跟随高速指令 | mean_episode_length 满分,但 track_lin_vel 卡在低位不动 | 姿态水平惩罚 flat_orientation_l2 太重锁死了前倾角,或摔倒惩罚在早期压垮了探索 | 适度放宽 flat_orientation_l2(如 -10 → -5),或增加课程学习由慢到快放开速度范围 |
思考与承上启下
做完上面的排障实验,你一定会意识到一个令人头疼的痛点:这 16 个权重彼此牵一发而动全身!
比如你想严禁轮电机力矩超限,把力矩惩罚调大 10 倍,结果机器人干脆躺平不走了;调小一点,急刹车时电机又天天打满 36 N·m 饱和线。
有没有一种方法,不用把物理安全约束硬塞进奖励函数里凑权重,就能让策略自动敬畏力矩、转速、对称与姿态红线?下一章,我们将进入本课程最具技术深度的亮点——约束式强化学习 CaT(Constraints as Terminations)。