Group 2.5: Backpropagation and Memory Optimization | 2.5: 反向传播与显存优化
本组覆盖反向传播、激活重计算和显存卸载,是 Part 2 的训练侧工程重点。
Group Overview | 组概览
这一组把反向传播和显存优化的核心机制讲清楚,是训练侧理解内存压力和优化手段的关键一层。阅读顺序和组内资产见下表,先看 17,再进入 18-19。
Group Asset Overview | 组内资产总览
| 页 | 职责作用 | 定位 |
|---|---|---|
| 17 | 读懂 Autograd 的梯度流 | 主线页 |
| 18 | 追踪激活与损失反向 | 主线页 |
| 19 | 看懂 checkpointing 与 offload | 主线页 |
Learning Path | 学习路径
Recommended Order | 推荐顺序
Next Steps | 后续衔接
- 看完本组后,继续进入 2.6,把训练侧的显存问题接到推理加速和缓存直觉上。
Environment Notes | 环境说明
- 默认按
CPU-first阅读,优先把梯度流和内存账本看懂。 - 这里只写组级统一前提,不点到具体节号。
- 少数页面如需
GPU optional,以后续单页说明为准。
