世界模型接入完整系统的七种模式

第一讲的 L1-L5 阶梯划分能力等级，本讲前面的页面比较动力学架构并解释三种具体规划机制。要组成完整系统，还需要回答一个设计问题：学习式预测进入智能体管线的哪个位置？

这不是另一份模型架构清单。同一个 RSSM、Transformer 或视频模型都可能参与下面的多种模式。“骨干选择”与“可选前沿综述”描述模型结构，本页的模式则描述系统接入方式。

预测可以进入四个位置

学习式预测可以通过四种方式影响系统：

1. 预训练策略所使用的表征。
2. 为策略或规划器提供更稠密的训练信号。
3. 在线生成候选未来，用于选择下一步动作。
4. 离线生成训练数据，部署时可以不再调用世界模型。

下面七种模式是这四种作用的进一步细分。

VLA 在世界模型旁边的位置

下面七种模式中有两种把世界模型的预测接入了一个 VLA（视觉语言动作模型，Brohan et al., 2023）：VLA 把观测和语言指令直接映射为动作，通常做法是在预训练的视觉语言模型上加一个动作输出头，再用行为克隆（behavior cloning，在观测-指令-动作演示数据上做监督学习）训练。一个纯粹的 VLA 从不预测未来状态，它只决定"现在该做什么"，回路中没有任何世界模型。这正是为什么需要把它与本讲的架构区分开：本页此前介绍的一切都在预测状态，而 VLA 恰恰是完整系统中不做这件事的那部分。

下面的模式三和模式五描述了世界模型的预测仍可以用两种不同方式嵌入这个直接映射，而不必把 VLA 本身变成一个预测模型。

七种模式

模式	预测如何发挥作用	与能力等级的关系
1. 表征预训练	用无标签视频预训练编码器，再把其表征交给策略或规划器	L1 为更高层级提供基础
2. 慢快分层	视觉语言模型偶尔发出高层指令，快速策略持续执行底层动作	L1-L3 组件协作，但不必合并为一个模型
3. 带显式因果轨迹的 VLA	视觉语言动作模型先预测中间解释或因果轨迹，再预测动作	L3 动作预测获得决策过程局部信息的监督
4. 稠密预测监督	联合训练未来场景分支与动作分支，部署时只保留动作分支	L2 预测为 L3 策略提供更稠密的梯度
5. 生成式目标或视觉轨迹	先想象目标图像或视觉轨迹，再用逆动力学模型推断连接相邻想象状态的动作	L2 生成目标未来，L3 把它转化为动作
6. 在线动作评估器	在学习到的模型中展开候选动作、评价后果、执行第一个动作，再根据新观测重新规划	L4 把预测直接用于滚动时域控制
7. 离线仿真与数据生成	在策略训练前生成困难或分布外经验，再用扩充后的数据训练部署策略	L4-L5 改善策略或数据集，而不要求在线调用模型

📖 表中术语：VLA 根据视觉观测和语言指令输出动作。因果轨迹是在动作前预测的中间结果，试图呈现动作为何应由当前观测产生。逆动力学模型预测把一个状态变成另一个状态所需的动作。滚动时域控制向前规划多步，只执行第一个动作，观察真实结果后再规划。这些定义描述接口而非保证：生成一段中间文字并不能单独证明模型学到了真实因果机制。

三组关键比较

模式一到三主要区别在耦合程度。表征预训练把特征交给独立策略。慢快分层在部署时保留两个协作模块。统一 VLA 则在同一序列中训练感知、中间预测与动作生成。耦合更紧可以缩小训练和部署行为的差异，但也让故障更难定位。

模式四和五都让监督更稠密。模式四把未来预测作为辅助训练目标。模式五在推理时把想象目标交给逆模型。前者可以在训练后丢弃预测器，后者在行动时仍依赖生成质量。

模式六和七的区别是世界模型何时运行。在线评估能回应当前观测，但会增加延迟，也会让规划器暴露于模型利用风险。离线生成没有推理开销，但部署策略遇到陌生情形时无法要求世界模型重新考虑。

与核心规划机制的关系

CEM-MPC 和 TD-MPC 属于模式六，因为它们在线评价候选动作序列，并在每次真实转移后重新规划。Dreamer 同时跨越两种作用：想象 rollout 为 actor 和 critic 提供稠密训练信号，而训练好的 actor 可以不在每个环境步执行搜索就直接行动。因此，能力属于完整闭环，而不只属于动力学网络。

实际需要问的不是“这个世界模型属于哪种模式”，而是：哪个组件负责预测，谁使用预测，预测在何时运行，预测误差能否改变最终执行的动作？ 这四个问题能让表面相似的系统得到可比较的描述。

延伸阅读

• 在判断完整系统的能力等级前，重读 L1-L5 能力阶梯。
• 重读 CEM-MPC 与潜在 Actor-Critic和 TD-MPC，查看在线接入与训练时接入的具体例子。