Skip to content

欢迎来到 Learn World Models

Learn World Models 是一门以项目为驱动的世界模型课程,从 VAE 编码器与潜在动力学,到 Dreamer、TD-MPC、STORM,再到语言与物理世界的前沿争论。

建议学习顺序: L01 → L02 → P01 → P02 → L03 → P03 → P04 → L04 → P05 → L05

讲义

讲义主题
第一讲内部仿真与历史脉络
第二讲观测编码与潜在动力学
第三讲架构模式、学习范式与规划
第四讲按模型评估
第五讲前沿思辨

项目

动手构建 VAE 编码器、潜在动力学模型、完整 Dreamer 流水线、TD-MPC 规划器与 STORM 评估仪表盘。

你将学到什么

  • 为什么需要世界模型:从 Craik(1943)到 JEPA 的历史脉络。
  • 观测编码:VAE、CNN 编码器、ELBO,以及通往 Dreamer 的桥梁。
  • 潜在动力学:GRU、MDN-RNN 与 RSSM(确定性 + 随机性)。
  • 架构族:七大架构族,RNN/RSSM、Transformer、扩散模型、JEPA、RWM、Genie、WAM。
  • 规划机制:CEM-MPC、潜在 Actor-Critic 与 TD-MPC。
  • 评估指标:FID、奖励相关性、一致性损失、PSNR 与视野漂移。
  • 前沿思辨:语言 vs 物理世界、Bitter Lesson、AGI 作为研究目标。