Passa al contenuto principale

Visualizza come Markdown

Contenuto convertito in Markdown. Usa il link alla pagina originale in fondo per esplorare i grafici interattivi.

2. 奖励设计与 PPO 训练

在第 1 章的零动作烟雾测试中,Flamingo 生成不到半秒就会拍在地上。在强化学习运动控制里,“把网络跑起来”往往只占 10% 的工作量,剩下 90% 都在回答两个问题:奖励函数怎么写才不会被策略钻空子(Reward Hacking)?训练出来的姿态拧巴或发抖时该调哪一项?

本章我们拆解 flat_env_stand_drive_cfg.py 与 mdp/rewards.py 中的 16 项奖励设计、域随机化配置与 co_rl 并行 PPO 超参数,启动 4096 环境 GPU 并行训练,并给出工程实践中最高频的四类病态步态排障手册。

本章目标​

  • 理解两轮足作为轮式倒立摆(WIP)的非最小相位动力学特征及其对奖励设计的启示
  • 掌握 Flamingo 四大类共 16 项奖励函数的数学公式、权重比例与物理分工
  • 读懂启动期、重置期与运行期(13~15 s 速度脉冲推力)三层域随机化机制
  • 使用 scripts/co_rl/train.py 完成 4096 环境并行 PPO 训练,并学会通过 TensorBoard 核心指标判断收敛阶段
  • 能独立诊断并修复“前后劈叉弓步”“贴地蹲走”“原地高频搓轮”与“呆立不动”四类典型失败模式

前置阅读​


2.1 轮式倒立摆的“反直觉”动力学:非最小相位特性​

为什么不能只给 Flamingo 写一句“线速度越接近目标奖励越高”?

把 Flamingo 沿矢状面(前后方向)简化为一个质量集中在机身高度 、底部踩在半径 车轮上的轮式倒立摆(Wheeled Inverted Pendulum)。假设机器人当前静止直立(俯仰角 ),突然收到向前的目标速度指令 :

  1. 如果车轮直接向前猛加速:轮轴瞬间前移,由于惯性机身质心落在后面,产生后仰角(),重力力矩会把机身往后拽倒,机器人为了不摔倒只能被迫倒车,彻底背离目标速度!
  2. 正确的物理动作序列(非最小相位响应):车轮必须先短暂向后微撤(反向加速),故意让机身质心向前倾出合适的俯仰角 ;借助前倾重力分量获得向前的水平加速度后,车轮再顺势向前加速追赶质心,最终在匀速巡航时回归 。

这意味着在起步最初的几帧里,“正确的控制动作”反而会让瞬时线速度短暂变负!如果奖励函数设计不当(比如用无界的负平方速度误差惩罚,或者机身姿态锁得太死不允许微倾,亦或摔倒惩罚过轻),策略要么不敢动,要么直接飞扑拍地骗取前几帧的正向冲刺分。


2.2 Flamingo 16 项奖励函数全景拆解​

打开 lab/flamingo/tasks/manager_based/locomotion/velocity/flamingo_env/flat_env/stand_drive/flat_env_stand_drive_cfg.py 中的 FlamingoRewardsCfg,全部 16 项奖励按工程职能可清晰划分为任务驱动、姿态与构型约束、安全边界惩罚、平滑与能耗正则四大模块:

1. 主任务驱动项(正奖励:提供前进与转向动力)​

两项速度跟踪奖励均采用有界高斯指数核(Exponential Kernel),取值严格落在 之间:

  • 为什么用指数核而不是负平方误差 ? 当指令突变或遭遇外力猛推时, 会产生巨大的负分,导致总即时奖励 ,诱导机器人主动撞地提前结束回合(“自杀避罚效应”)。指数核在误差很大时平缓趋近于 0,在接近目标时斜率陡峭,天然保证主任务项恒正且有界。

2. 姿态与双腿对称构型项(防止劈叉、塌腰与晃动)​

两轮足有 6 个腿部关节冗余自由度,如果不加构型引导,策略很容易学出“左腿往前伸、右腿往后蹬”的畸形劈叉平衡态。为此专门引入了高度保持与**左右腿镜像对齐(Alignment)**惩罚:

3. 全量 16 项奖励配置总表​

模块奖励项名称核心公式 / 函数(mdp.*)权重 关键参数与工程意图
任务跟踪track_lin_vel_xy_exp+2.0std = 0.25 m/s;最高优先级正向激励
任务跟踪track_ang_vel_z_exp+1.0std = 0.5 rad/s;差速转向角速度跟踪
姿态构型base_height-25.0target_height = 0.48 m;强力托住机身防止蹲坐
姿态构型flat_orientation_l2-5.0保持躯干近似水平,同时留出加减速微倾余量
姿态构型lin_vel_z_l2-1.0抑制机身上下颠簸弹跳
姿态构型ang_vel_xy_l2-0.05轻微阻尼横滚与俯仰角速度振荡
姿态构型joint_deviation_hip-1.0约束髋侧摆回归零位,保持标准轮距立正
姿态构型joint_deviation_shoulder-0.5鼓励大腿围绕直立中位工作
姿态构型shoulder_align_l1-0.2防劈叉关键项:强制左右大腿俯仰同步
姿态构型leg_align_l1-0.1防劈叉关键项:强制左右小腿折叠同步
安全边界termination_penalty-200.0非法触地摔倒重罚(注意超时截断 time_out 不罚!)
安全边界dof_pos_limits_*(髋/肩/腿 3 项)越出软限位区间(0.8 倍硬限位)的超出量各 -1.0防止机械死点撞击限位块
安全边界undesired_contacts肩/小腿连杆接触力 计数-0.5抑制腿部连杆擦碰地面或左右互撞
安全边界joint_applied_torque_limits-0.1惩罚超出电机最大力矩被截断的饱和部分
平滑能耗dof_torques_l2-5.0e-5降低稳态发热与能耗
平滑能耗dof_acc_l2-2.5e-7抑制关节高频机械冲击
平滑能耗action_rate_l2-0.01Sim2Sim/Sim2Real 核心平滑项:消除高频动作抖动

[!TIP] 读算账:一秒钟能拿多少分? 在 Isaac Lab 的 RewardManager 中,每步汇总奖励会自动乘以控制步长 。当 Flamingo 完美站立并跟踪目标速度时,每秒正收益上限约为 分,跑满 20 s 回合理论最高总回报接近 +60;而一旦中途摔倒,termination_penalty 会按 -200.0 * 0.02 = -4.0 扣除瞬时重罚并立刻断送后续所有正收益。这种**“活着就有稳定正分 + 摔倒亏损未来收益”**的账本结构,彻底杜绝了自杀套利。


2.3 三层域随机化与周期性抗推训练​

为了让策略在脱离 PhysX 理想环境后依然稳健,EventCfg(见 velocity_env_cfg.py 与 flat_env_stand_drive_cfg.py)在三个生命周期注入了物理摄动:

触发时机(mode)事件名称作用对象与随机化范围模拟的真实世界不确定性
startup(初始化一次)physics_material所有连杆静摩擦 ,动摩擦 瓷砖、木地板、水泥地等不同地面抓地力
startup(初始化一次)com_positionsbase_link 质心偏移 电池安装偏心、线束与机载电脑配重不均
startup(初始化一次)add_base_massbase_link 附加质量 搭载传感器载荷或更换不同容量电池
reset(每回合重置)reset_base / reset_robot_joints初始航向 ,横滚/俯仰角速度 ,关节角偏置 上电瞬间非绝对垂直扶正的带扰初态
interval(每 13~15 s)push_robot给机身直接叠加瞬时线速度脉冲 模拟人类用脚轻踹或路面突发磕绊冲击

2.4 启动 4096 环境并行 PPO 训练​

PPO 核心超参数(FlamingoFlatPPORunnerCfg_Stand_Drive)​

上游配置位于 lab/flamingo/tasks/manager_based/locomotion/velocity/flamingo_env/agents/co_rl_cfg.py:

参数名设定值说明
num_envs4096单卡并行环境数(8 GB 显存若吃紧可调为 2048)
num_steps_per_env24每次更新每个环境采样 24 步(约 0.48 s),单批总样本数 98,304
max_iterations5000总迭代轮数(总交互步数约 步)
actor_hidden_dims / critic_hidden_dims[512, 256, 128]三层全连接 MLP,激活函数 ELU
empirical_normalizationTrue在线统计观测均值与方差并标准化输入
learning_rate / schedule1e-3 / adaptive基于 desired_kl = 0.01 自适应缩放学习率
gamma / lam0.99 / 0.95折扣因子(有效视野约 100 步 = 2.0 s)与 GAE 平滑系数
num_learning_epochs / num_mini_batches5 / 4每批数据复用 5 轮,切分为 4 个 24,576 大小的 Mini-batch

执行训练与监控命令​

在 flamingo_train 环境中运行以下命令启动无头高速训练:

conda activate flamingo_train
cd flamingo_isaaclab

# 启动标准 PPO 训练(2 帧观测堆叠,无头模式最大化吞吐率)
python scripts/co_rl/train.py \
--task Isaac-Velocity-Flat-Flamingo-v1-ppo \
--algo ppo \
--num_envs 4096 \
--num_policy_stacks 2 \
--num_critic_stacks 2 \
--max_iterations 5000 \
--headless

训练日志与权重默认按时间戳保存在 logs/co_rl/Flamingo_Flat_Stand_Drive/ppo/<YYYY-MM-DD_HH-MM-SS>/ 下,每 50 轮保存一个 model_<iter>.pt,同时自动将当次环境参数导出为可读的 params/env.yaml 与排版好的 PDF 参数手册!

另开一个终端启动 TensorBoard 实时观察训练动态:

tensorboard --logdir logs/co_rl/Flamingo_Flat_Stand_Drive/ppo

若训练中途中断,可通过 --resume True --load_run <目录名> --checkpoint model_2000.pt 无缝续训。


2.5 训练三阶段演进与四大病态步态排障手册​

正常收敛的三个里程碑​

  1. 求生站立期(Iter 0 ~ 300):
    • Train/mean_episode_length 从最初的 15~30 步(半秒倒地)迅速爬升至满额 1000 步(20 s 不倒);
    • Episode_Termination/base_contact 趋近于 0,Episode_Termination/time_out 升至接近 1.0;机器人学会用轮子高频微调锁死倒立摆平衡。
  2. 速度与转向解锁期(Iter 300 ~ 1500):
    • Episode_Reward/track_lin_vel_xy_exp 与 track_ang_vel_z_exp 持续走高;
    • 机器人掌握“先微退倾身、再加速追赶质心”的非最小相位加减速技巧,并能丝滑完成原地差速旋转。
  3. 抗推平滑打磨期(Iter 1500 ~ 5000):
    • 在 13~15 s 随机 1 m/s 推力冲击下不再翻车,action_rate_l2 与 dof_torques_l2 罚分逐步收敛减小,动作变得安静柔顺。

常见病态步态诊断与调参处方​

如果你在自行修改机身高度、指令上限或移植新轮足模型时遇到以下四种典型“翻车现场”,直接对照下表定位病因:

观察到的异常现象TensorBoard 信号特征根本物理原因调参修复处方
1. 前后劈叉成“弓步”滑行(一腿前伸一腿后撤锁死)存活率高,但 shoulder_align_l1 / leg_align_l1 负分长期偏大前后劈叉把单线支撑变成了等效长轴距前后轮,策略偷懒逃避倒立摆动态平衡!将 shoulder_align_l1 权重从 -0.2 加强至 -0.5 ~ -1.0,leg_align_l1 加强至 -0.3 ~ -0.5
2. 贴地深蹲蹭着走(膝关节过度折叠、屁股几乎擦地)base_height 误差大,关节力矩偏高降低质心高度能减小倾覆力矩,策略用“蹲下”换取更容易的抗推稳定性检查 target_height=0.48 是否与 URDF 腿长匹配,适度提高 base_height 权重(如 -25 → -35)
3. 原地高频搓轮嗡嗡发抖action_rate_l2 与 dof_acc_l2 居高不下轮速度缩放 scale=40.0 较大,或未开执行器延迟导致策略学习极限高频振荡确认开启 min_delay=0, max_delay=4;将 action_rate_l2 从 -0.01 调至 -0.02 ~ -0.05
4. 呆立原地拒绝跟随高速指令mean_episode_length 满分,但 track_lin_vel 卡在低位不动姿态水平惩罚 flat_orientation_l2 太重锁死了前倾角,或摔倒惩罚在早期压垮了探索适度放宽 flat_orientation_l2(如 -10 → -5),或增加课程学习由慢到快放开速度范围

思考与承上启下​

做完上面的排障实验,你一定会意识到一个令人头疼的痛点:这 16 个权重彼此牵一发而动全身! 比如你想严禁轮电机力矩超限,把力矩惩罚调大 10 倍,结果机器人干脆躺平不走了;调小一点,急刹车时电机又天天打满 36 N·m 饱和线。

有没有一种方法,不用把物理安全约束硬塞进奖励函数里凑权重,就能让策略自动敬畏力矩、转速、对称与姿态红线?下一章,我们将进入本课程最具技术深度的亮点——约束式强化学习 CaT(Constraints as Terminations)。