欢迎来到 Learn World Models
Learn World Models 是一门以项目为驱动的世界模型课程,从 VAE 编码器与潜在动力学,到 Dreamer、TD-MPC、STORM,再到语言与物理世界的前沿争论。
建议学习顺序: L01 → L02 → P01 → P02 → L03 → P03 → P04 → L04 → P05 → L05
讲义
| 讲义 | 主题 |
|---|---|
| 第一讲 | 内部仿真与历史脉络 |
| 第二讲 | 观测编码与潜在动力学 |
| 第三讲 | 架构模式、学习范式与规划 |
| 第四讲 | 按模型评估 |
| 第五讲 | 前沿思辨 |
项目
动手构建 VAE 编码器、潜在动力学模型、完整 Dreamer 流水线、TD-MPC 规划器与 STORM 评估仪表盘。
你将学到什么
- 为什么需要世界模型:从 Craik(1943)到 JEPA 的历史脉络。
- 观测编码:VAE、CNN 编码器、ELBO,以及通往 Dreamer 的桥梁。
- 潜在动力学:GRU、MDN-RNN 与 RSSM(确定性 + 随机性)。
- 架构族:七大架构族,RNN/RSSM、Transformer、扩散模型、JEPA、RWM、Genie、WAM。
- 规划机制:CEM-MPC、潜在 Actor-Critic 与 TD-MPC。
- 评估指标:FID、奖励相关性、一致性损失、PSNR 与视野漂移。
- 前沿思辨:语言 vs 物理世界、Bitter Lesson、AGI 作为研究目标。