Skip to content

课程路线图

讲义与项目组成的一条主线

讲义和项目不是两条分开的路线,而是一门课程的两个部分。项目在路线中出现时就停下来完成它。项目保存的检查点会成为下一阶段分析和训练的具体对象,让后续概念始终依附于你已经观察和训练过的系统。

阶段先阅读再实践完成后应该能解释
基础L01,然后读 L02“观测编码”P01:训练 VAE 编码器观测编码器保留和舍弃了什么信息
动力学L02“潜在动力学”与 Dreamer 系列P02:构建 RSSM有用的潜在状态为何同时需要记忆与不确定性
控制L03“规划与控制”P03:训练 Dreamer 智能体想象轨迹如何训练 actor 与 critic
替代架构L03“骨干选择”P04:替换动力学骨干何种瓶颈足以支持我们替换 RSSM
评估L04P05:构建评估仪表盘每项指标分别诊断表示、rollout 或规划中的哪种故障
因果性L04 后重读 L1-L5 能力阶梯P06:检验反事实保真度动作是否真正导致预测未来变化,而不只是与变化相关
前沿L05无必做项目哪些开放问题属于经验、架构或哲学层面

下一讲

L02 从一个具体问题出发:如何把 64×64 的像素图像压缩成一个紧凑的潜在向量 z? 这是变分自编码器(VAE)的任务,也是整个 Dreamer 流水线的第一块砖。

读完编码部分就完成 P01,不要等到 L02 全部结束。随后回到动力学部分,把学到的表示接入 RSSM,再完成 P02。到这里,你会亲手写出本课程最重要的两个预测组件,并观察它们的误差如何随 rollout 时程变化。

L01 不要求编程,其中的数学补充均可选读。L02 假设读者掌握深度学习基础,并会在新工具第一次需要时进行解释。

延伸阅读