世界模型的严格分类：从技术枚举到认知功能

最关键的区分：历史脉络不是分类体系

一个严谨的教程不能混淆两个都很有用、但性质完全不同的问题：

1. 历史脉络：世界模型研究是怎样一步步演化到今天的？
2. 功能能力：某个具体模型到底具备哪一种世界建模能力？

“四个时代”属于第一个问题。它是一条历史叙事线：从早期 RNN 式预测，到 Ha 和 Schmidhuber 对 world model 的明确表述，到 Dreamer 式 latent imagination，再到 JEPA 式表征/预测路线。这个框架很适合帮助读者建立时间感，但它不是世界模型最深层的分类方式。

L1-L5 属于第二个问题。它按照模型的操作能力分类：模型只是压缩当前状态，还是能预测未来。只是预测自然演化，还是能回答“如果我这样行动会怎样”。只是预测后果，还是能把预测和价值、规划、策略改进耦合起来。最后，它是否能在交互中发现错误并自我修正。

所以本教程采用一个双轴框架：

轴	回答的问题	在课程中的作用
历史时代	“这个领域是怎样发展到这里的？”	教学导入和脉络梳理
L1-L5 能力阶梯	“这个系统到底是哪一种世界模型？”	主分类体系

这样可以避免一个常见误区：把每个著名技术都当成一种并列的“世界模型类型”。DINO、MAE、JEPA、NeRF、视频预测、Dreamer、MuZero 和 simulator 并不是一个扁平列表里的同类项。它们处在不同能力层级，也常常只解决世界模型问题的不同子模块。

先预告几个反复出现的名字。 本分类体系会用几个系统作为反复出现的例子，课程后面才会真正从零构建它们。JEPA（Joint Embedding Predictive Architecture）在语义空间里预测未来的表征，而不是预测像素（完整机制见第三讲）。Dreamer 及其动力学核心 RSSM（Recurrent State Space Model）把观测压缩成潜在状态，再在潜在空间里向前预测（第二讲会亲手搭建，第三讲会与其他架构对比）。MuZero 完全不重建像素，直接从内部状态预测奖励和价值，并用树搜索来规划（第三讲“规划与控制”详述）。TD-MPC 把学到的 Q 函数和基于搜索的规划结合起来（同样在“规划与控制”模块）。这几个名字现在都不需要深入理解，这里只关心它们各自达到了哪个能力层级。

📖 DINO、MAE、CLIP、ViT：这四个名字会在本分类体系中反复出现，作为 L1 表征学习的典型例子，有必要先在这里讲清楚。ViT（Vision Transformer，Dosovitskiy et al., 2021）把 Transformer 的自注意力机制（在 L03 详细介绍）直接用于图像：把图像切成固定大小的 patch，每个 patch 当作一个 token，在 patch 序列上做自注意力，而不是用卷积。DINO（self-DIstillation with NO labels，Caron et al., 2021，Meta AI）用纯自监督的方式训练 ViT，不需要任何标签：学生网络在同一张图片的不同增强视角上，学习去匹配一个缓慢更新的教师网络（通过 EMA，也就是 JEPA 中用到的同一种机制）的输出，训练出来的特征会按物体语义自动聚类，即使模型从未被告知“这是什么物体”。CLIP（Contrastive Language-Image Pretraining，Radford et al., 2021，OpenAI）联合训练一个图像编码器和一个文本编码器，让匹配的图文对表征互相靠近，不匹配的图文对表征互相远离，从而得到视觉和语言两个模态对齐的表征。MAE（Masked Autoencoder，掩码自编码器，He et al., 2021）的训练方式是遮住图像中很大一部分 patch（通常 75%），只用剩下可见的 patch 重建被遮住的像素，思路和 BERT 遮住文本中的词类似。这四者都是表征学习方法：它们产出的是图像的压缩、语义化编码，这也是它们在本分类体系中停留在 L1 而不是更高层级的原因，它们本身并不预测未来，也不以动作为条件。

四个时代简述

时代一：理论奠基（1950s-2017）。循环神经网络（RNN）、卡尔曼滤波器、隐马尔可夫模型，这七十年里，研究者们在控制论、语音识别、机器人学等不同领域独立构建"预测未来状态"的工具，但这些工作从未被统一冠以"世界模型"之名。

时代二：Ha 与 Schmidhuber 的"梦中学习"（2018）。Ha 与 Schmidhuber 的《World Models》用一个三模块框架统一了这些散落的思想：V（视觉模块）把每帧画面压缩成一个低维向量。M（记忆模块，MDN-RNN）以历史向量和动作为输入，预测这个向量如何演化。C（控制器）直接以当前向量和 M 的隐状态输出动作。把控制器完全放进记忆模块幻想出的虚拟环境里训练，再把策略迁移到真实游戏，这一思路让世界模型第一次进入主流视野。

时代三：Dreamer 与潜在空间（2019）。Hafner 等人的 Dreamer V1 引入了 RSSM（Recurrent State Space Model，完整机制见第二讲），把状态拆成确定性历史路径和随机不确定性路径两条并行分支。与 Ha & Schmidhuber 的方法不同，Dreamer 完全不在像素空间重建图像：预测、规划、奖励学习全部直接在潜在空间完成，在 Atari 和连续控制任务上大幅超越了此前的无模型方法。

时代四：视频即世界（2023 至今）。JEPA（Joint Embedding Predictive Architecture，LeCun 团队，2022）彻底放弃像素重建，只在语义嵌入空间里做预测："我不需要画出你的脸，我只需要知道你是谁。"

四个时代的演化逻辑一以贯之：从"如何在序列中预测状态"（时代一），到"如何在梦境中训练策略"（时代二），到"如何在潜在空间里压缩感知"（时代三），再到"如何只保留语义、丢掉噪声"（时代四）。每一步都是对上一步瓶颈的直接回应。

四个时代如何映射到 L1-L5

历史时代和能力阶梯可以融合，而且并不矛盾：

历史框架	典型贡献	能力解释
早期 recurrent prediction	学习紧凑隐状态，并预测序列变化	L1-L2
Ha 和 Schmidhuber 的 world models	把表征、记忆/动力学、控制器分离出来	L1-L3，并开始出现 agent 接口
Dreamer 式 latent imagination	在学到的 latent dynamics 中规划和学习策略	L3-L4
JEPA 式表征/预测	学习抽象预测表征，而不是重建每个像素	L1-L2，也可以成为 L3-L5 的底座

这张表也说明了为什么不能对单个方法过度命名。JEPA 很重要，但 JEPA 本身并不自动等于 agentic world model。Dreamer 更接近 agentic 意义上的世界模型，因为它把学到的 dynamics 用于策略学习。MuJoCo 这样的 simulator 虽然“能跑起来”，但它不是智能体内部学到的世界模型。只有当智能体内化、近似或利用其动力学进行内部推演时，它才进入本教程讨论的 world model 范畴。

因此，本教程严格使用 world model 这个词：一个系统必须包含内部模型，并支持预测、反事实评估、规划或自我修正。只提供表征的系统，除非被整合进更大的预测或行动闭环，否则应称为 world-model component，而不是完整世界模型。

“世界模型”这个词在不同社区里使用得很宽：自监督视觉、视频生成、3D 重建、物理仿真、强化学习和具身智能都可能说自己在做 world model。为了避免概念膨胀，本课程采用一个更严格的判定框架。

一个系统越接近完整的世界模型，越应该同时回答三个问题：

1. 它是否学习或维护了世界状态的内部表征？
2. 它是否能根据当前状态和可能的行动预测未来状态？
3. 它的预测是否能被智能体用于规划、控制或决策？

这三个问题对应三层由弱到强的定义。它们能清理现有文献里的混用，但还不是本课程最终想要的分类方式。更有解释力的分类不应该只问“这个模型属于哪篇论文的技术路线”，而应该问：它让智能体获得了哪一种关于世界的操作能力？

L1-L5：按可操作能力分类

“重建世界”“预测下一步”“能跑起来”是有用的直觉入口，但它们仍然停留在表面行为。一个更强的分类应该从智能体能做什么开始，本课程采用五级能力阶梯作为主分类体系。每一级都给出核心问题、形式化表达、典型例子和局限。

L1 压缩模型：What is here?

压缩模型把高维观测变成可计算、可记忆、可比较的内部状态。它解决的是“我现在看见的世界可以被表示成什么”的问题，通常不直接展开未来，也不直接服务行动，更准确地说是“世界模型组件”而非完整世界模型。

形式化：

$$z_t=\text{Encoder}(o_t)$$

其中 $o_t$ 是时刻 $t$ 的高维观测（像素、点云等），$z_t$ 是压缩后的内部状态。

典型对象：

• DINO / MAE / CLIP-style representation
• autoencoder / VAE encoder
• object-centric representation

核心能力：从像素到 latent state，从局部观测到稳定对象，从噪声细节到任务相关变量。

局限：它知道“这里有什么”，但未必知道“接下来会怎样”。

L2 动力学模型：What happens next?

动力学模型不仅表示当前世界，还学习状态随时间变化的规律，预测“如果世界继续演化，下一步是什么”。预测可以发生在像素空间、特征空间、物体空间或 3D 空间。

形式化：

$$z_{t+1}=\text{Predictor}(z_{\le t})$$

JEPA 是这一层级的代表，它进一步把预测限制在可见与被遮挡 patch 之间：$z_{\text{masked}}=\text{Predictor}(z_{\text{visible}},\mathrm{\Delta })$，其中 $\mathrm{\Delta }$ 是被遮挡区域的位置编码。视频世界模型走的是像素空间的版本：$I_{t+1}=\text{Generator}(I_{\le t},c)$，用历史帧 $I_{\le t}$ 和可选的语义提示 $c$ 直接生成下一帧。

典型对象：

• JEPA / latent dynamics
• video prediction / video diffusion
• scene flow / object dynamics

核心能力：temporal prediction、latent rollout、uncertainty over futures。

局限：它能预测未来，但未必知道“我的动作会改变什么”。

L3 行动条件模型：What if I act?

行动条件模型把动作纳入世界演化。它不只是预测自然发生的未来，而是预测“如果我做某个动作，会发生什么”。

形式化：

$$s_{t+1}=f(s_t,a_t)$$

其中 $a_t$ 是智能体在时刻 $t$ 执行的动作。这一个条件的存在，让世界模型从“旁观者”变成了“参与者”。

典型对象：

• model-based RL dynamics model
• robotics forward model
• controllable video generation
• action-conditioned latent transition

核心能力：action-conditioned counterfactual prediction、imagined trajectories under candidate policies。

局限：它能回答单步或短程反事实，但未必能长期规划，也未必知道哪些后果更值得追求。

L4 价值耦合模型：What matters?

价值耦合模型把世界预测与目标、奖励、偏好或生存约束绑定，解决的是“哪些未来更好，哪些未来更危险”的问题，是本课程最严格意义上的 agentic 世界模型：预测被直接用于规划、控制和决策。

形式化：

$$a^{\ast }=\arg \underset{a}{max}\text{Value}({\text{Rollout}}_{\text{WM}}(s,a))$$

即在世界模型内部并行展开多个候选动作的想象轨迹，用价值函数或评估器打分，选出最优动作。Dreamer 用学到的 actor-critic 在 latent imagination 中完成这一步。MuZero 用搜索完成同样的事情。

典型对象：

• Dreamer-style actor-critic in imagination
• MuZero-style reward/value prediction
• learned cost models for control
• preference-conditioned world models

核心能力：reward / value prediction、planning over imagined futures、credit assignment through latent rollouts。

局限：它知道哪些未来更有价值，但未必能持续修正自己的世界假设，模型本身的误差会被规划过程放大。

L5 自校正模型：How do I improve my model of the world?

自校正模型把预测误差、探索和模型更新形成闭环。它不只是使用世界模型，而是主动改进世界模型：检测模型误差，选择能降低不确定性的实验，在干预之后更新信念，并在多个任务上维护一个不断增长的世界模型。这是更高阶的世界模型，它不仅模拟世界，还能意识到自己的模拟哪里不可靠。

典型对象：

• active inference
• curiosity-driven model learning
• uncertainty-guided exploration
• lifelong world-model learning
• scientific discovery agents

核心能力：detect model error、choose experiments that reduce uncertainty、update beliefs after intervention、maintain a growing world model across tasks。

最终分类：五层能力阶梯

因此，本课程最终不采用“某某模型是不是世界模型”的二元标签，而采用一个能力阶梯：

层级	核心问题	形式化	典型例子	严格称谓
L1 压缩	What is here?	$z_t=\text{Encoder}(o_t)$	DINO, MAE, NeRF encoder	world-model component
L2 动力学	What happens next?	$z_{t+1}=\text{Predictor}(z_{\le t})$	JEPA, video prediction, scene flow	predictive world model
L3 行动条件	What if I act?	$s_{t+1}=f(s_t,a_t)$	robotics forward model, action-conditioned dynamics	controllable world model
L4 价值耦合	What matters?	$a^{\ast }=\arg \underset{a}{max}\text{Value}({\text{Rollout}}_{\text{WM}}(s,a))$	Dreamer, MuZero	agentic world model
L5 自校正	How do I improve?	主动探索并更新模型（无单一闭式表达）	active inference, curiosity, lifelong agents	self-improving world model

这个分类比“重建 / 预测 / 能跑起来”更强，因为它刻画的是智能体能力，而不是模型表面形态。一个系统可以在像素、对象、3D、语言或物理状态上实现这些能力。模态不是本质，可操作的反事实能力才是本质。

还有一类系统经常被误称为世界模型：MuJoCo、Brax、Isaac Gym 这样的物理模拟器，Atari、贪吃蛇、Minecraft 这样的规则或程序生成环境，以及各类游戏引擎。它们确实“包含一个世界”，也对训练世界模型非常重要，因为它们提供数据和评估环境。但它们通常不是智能体自己学习出来的内部模型。除非智能体把它们的规律学习进自己的内部模型，否则它们属于 external simulator，不进入 L1-L5 阶梯。

二维分类：对象 × 能力

网上流传的“世界模型九宫格”梗图（横轴是重建、预测下一步、能跑起来，纵轴是特征/潜变量、对象/3D、像素/视频）说的正是本节的直觉：DINO、JEPA、Dreamer 各占一格，NeRF、Scene Flow、MuJoCo 各占一格。这张梗图和思想基石里“预测什么 / 是否接受动作 / 服务什么目的”那张三问表本质上是同一件事的两种排布方式。它把模型按两个正交维度排列：

• 横向：建模空间，也就是表征对象是什么，特征/潜变量、对象/3D、像素/视频、状态/物理量。
• 纵向：能力层级，也就是模型能对这个空间做什么，重建、预测、行动闭环，对应上一节的 L1-L4。

表征对象	重建（L1）	预测（L2）	行动闭环（L3-L4）	代表公式
特征 / 潜变量	MAE, autoencoder	JEPA, latent dynamics	Dreamer latent imagination	$z_{\text{masked}}=\text{Predictor}(z_{\text{visible}},\mathrm{\Delta })$
对象 / 3D	NeRF, 3D Gaussian Splatting	scene flow, object dynamics	model-based manipulation	$I=\text{Renderer}(\mathrm{\Theta },c)$
像素 / 视频	image/video reconstruction	video diffusion, video prediction	visual model predictive control	$I_{t+1}=\text{Generator}(I_{\le t},c)$
状态 / 物理量	state estimator	learned dynamics	MPC, model-based RL	$s_{t+1}=f(s_t,a_t)$

其中 NeRF / 3D Gaussian Splatting 一行的公式里，$\mathrm{\Theta }$ 是场景表征（NeRF 权重或 3DGS 高斯点集合），$c$ 是查询条件（视角、时间戳或位姿），$I$ 是渲染出的图像。

这个表的关键点是：对象维度不决定它是不是完整世界模型，能力维度才决定严格等级。NeRF 可以是非常好的 3D 世界表征，但如果它只是静态重建，就仍然停留在 L1 表征层。Dreamer 之所以更接近完整世界模型，是因为它把 latent prediction 接到了行动学习上，进入了 L3-L4。这也解释了为什么 DINO 和 MAE 通常只是 L1，JEPA 和视频预测进入 L2，action-conditioned dynamics 进入 L3，Dreamer / MuZero 进入 L4，而只有能主动设计实验、修正自身假设的智能体才进入 L5，这一层在九宫格里没有对应的格子，因为它已经超出了"建模空间"这个横向维度能描述的范围。

从能力等级到系统设计

L1-L5 阶梯描述系统能做什么，却还没有解释编码器、动力学模型、规划器和数据管线应如何连接成一个可部署的智能体。这个区别很重要，但要把它讲清楚，读者需要先掌握第三讲介绍的规划机制。

此时只需记住一个观念：更高层级的能力通常来自预测模型及其使用方式的组合。学完 CEM-MPC、潜在 Actor-Critic 和 TD-MPC 后，再阅读世界模型接入完整系统的七种模式，比较预测可以进入系统的哪些位置：表征预训练、训练信号、动作选择或数据生成。

本课程采用的最终口径

本课程中，“世界模型”默认指 智能体内部的、可预测的、可用于行动选择的世界动态模型。在宽泛讨论中，我们会承认表征模型、重建模型、视频预测模型和外部模拟器都与世界模型相关，但会明确区分：

• world-model component：学习了世界的某种表征或局部规律。
• predictive world model：能在内部预测未来状态或观测。
• controllable world model：能预测动作造成的反事实后果。
• agentic world model：能把内部预测用于规划、控制和决策。
• self-improving world model：能通过探索和误差修正持续改进自身。
• external simulator：提供可交互世界，但不是智能体学到的内部模型。

因此，“DINO 是世界模型”“NeRF 是世界模型”“MuJoCo 是世界模型”“Sora 是世界模型”这些说法只有在宽泛语境下成立。严格地说，DINO 和 NeRF 更像世界模型组件，MuJoCo 是外部模拟器，Sora 这类视频扩散模型至多算 L2 级别的预测式世界模型（它不以离散动作为条件，也不服务于规划），而 Dreamer / MuZero 这类系统才是本课程核心意义上的世界模型。