Skip to content

Group 2.5: Backpropagation and Memory Optimization | 2.5: 反向传播与显存优化

本组覆盖反向传播、激活重计算和显存卸载,是 Part 2 的训练侧工程重点。

Group Overview | 组概览

这一组把反向传播和显存优化的核心机制讲清楚,是训练侧理解内存压力和优化手段的关键一层。阅读顺序和组内资产见下表,先看 17,再进入 18-19。

Group Asset Overview | 组内资产总览

职责作用定位
17读懂 Autograd 的梯度流主线页
18追踪激活与损失反向主线页
19看懂 checkpointing 与 offload主线页

Learning Path | 学习路径

  • 先看 17 -> 18 -> 19,把反向传播和显存优化串起来。

Next Steps | 后续衔接

  • 看完本组后,继续进入 2.6,把训练侧的显存问题接到推理加速和缓存直觉上。

Environment Notes | 环境说明

  • 默认按 CPU-first 阅读,优先把梯度流和内存账本看懂。
  • 这里只写组级统一前提,不点到具体节号。
  • 少数页面如需 GPU optional,以后续单页说明为准。

Released under the MIT License.