01. 训练闭环与计算图 | Training Loop and Computation Graph
学习问题
损失能够算出,为什么参数仍可能没有更新?一轮训练中,模型参数必须影响预测,预测再与目标形成损失,反向传播才能求出相应梯度。优化器使用这些梯度及自身状态更新参数,下一轮前向才会读到更新后的值。
核心机制
模型前向产生预测分数(logits)和中间激活;激活是各层计算得到的特征,只有反向仍需读取的部分才需要继续保存。参数是训练要调整的值,缓冲区则保存模块的其他状态,例如统计量;参数梯度通常写入 .grad,与参数本身是不同对象。
| 阶段 | 主要输入 | 发生的变化 | 为后续保留的对象 |
|---|---|---|---|
| 初始化 | 模型结构、随机种子、dtype | 参数获得初始值 | 参数与模块状态 |
| 前向传播 | 批次、参数、缓冲区 | 产生 logits 和中间激活 | 反向传播需要的反向保存张量 |
| 损失计算 | logits、标签、掩码 | 把监督目标变成标量或逐项误差 | 损失节点及其依赖 |
| 反向传播 | 损失、上游梯度、反向保存张量 | 沿反向边形成并汇合梯度 | 参数 .grad |
| 参数更新 | 参数、梯度、优化器状态 | 更新参数和优化器状态 | 下一次更新使用的新状态 |
| 验证 | 固定模型、验证批次 | 计算损失和任务指标 | 汇总指标,不写入训练梯度 |
这条链的关键不是 API 顺序,而是依赖关系:损失必须连接到待训练参数;某个局部反向过程若需要前向输入或输出,相应状态就要保留到它被消费;参数更新只能发生在目标累积窗口完成以后。
计算图如何组织梯度
计算图中的节点表示张量或算子,边表示数值依赖。反向传播从损失出发,将上游梯度与局部导数结合,再沿反向路径传给输入与参数。
图中存在分支时,同一张量可能从多条路径接收梯度;存在残差路径或共享参数时,这些贡献需要在汇合点相加。因此,代码的书写顺序不能直接代替梯度依赖图。
| 图结构 | 反向含义 | 常见检查 |
|---|---|---|
| 单链 | 梯度逐层传递 | 每层形状与局部导数是否匹配 |
| 分支 | 同一输入接收多条梯度贡献 | 汇合处是否执行求和 |
| 残差路径 | 恒等路径与变换分支共同回传 | 主路径是否保持可导 |
| 共享参数 | 参数在多处使用 | .grad 是否累计全部使用位置的贡献 |
| 图切断 | 某条依赖不参与当前反向传播 | detach、no_grad 的范围是否符合预期 |
| 冻结参数 | 当前参数不接收训练梯度 | 参数冻结不一定阻断该模块输入的梯度 |
保存状态为什么进入训练成本
不是所有前向传播输出都要保留。只有局部反向过程仍需读取的输入、输出或统计量才属于保存状态。它们的大小和驻留时间共同决定激活压力;如果选择重算或融合,数学梯度可以不变,但保存点和读取路径会发生变化。
因此,分析训练问题时应依次确认:
- 损失是否连接到目标参数;
- 梯度经过哪些分支并在哪里汇合;
- 每个局部反向过程需要哪些前向状态;
- 参数梯度在何时完成累积并进入更新。
验证与下一步
沿损失回查参数时,先确认依赖仍在,再检查梯度是否产生并进入优化器。接下来在 02 自动求导与 Transformer 反向传播中拆开局部导数、梯度汇合和前向保存状态;保存多久、占用多少显存再进入 04 训练状态生命周期。
相关阅读
| 资料 | 用途 |
|---|---|
| Part 00 · 07 PyTorch 自动求导与反向传播 | 核对叶子张量、计算图与梯度累积。 |
| Part 00 · 09 模块与参数 | 回看参数、缓冲区和训练/验证模式。 |
| Part 00 · 12 数据接口与训练生命周期 | 回看批次、更新和验证的最小接口。 |
| Automatic differentiation in machine learning: a survey | 将链式法则、计算图与自动微分放在统一框架中理解。 |
| torch.autograd | 核对 PyTorch 计算图与自动求导接口。 |
