反向传播与训练机制公式索引与符号约定

本页集中说明 2.3 与本专题共用的梯度、有效更新、状态生命周期和策略代价公式。每个正文页继续解释公式来源、成立条件和机制关系，Notebook 负责把公式映射到代码、TODO、测试与实验记录。

使用方法

阅读公式时依次确认四件事：梯度相对于哪个目标求导；损失按样本、Token 还是累计窗口归约；参数是否真的完成一次更新；状态节省是否引入重算、搬运或等待。跨页对照以本页符号为准，局部推导与实现仍回到对应正文和机制 Notebook。

共用符号

符号	含义	常见粒度
$L$	当前训练目标或损失	样本、Token 或累计窗口
$x, y$	算子输入与输出；具体页面可继续写成 Q、K、V、logits 等对象	张量
$\bar{y} = \partial L / \partial y$	从输出接收到的上游梯度	张量
$J_{f} (x)$	函数 $f$ 在 $x$ 处的雅可比矩阵	局部算子
$g$ / $g_{u}$	参数梯度； $g_{u}$ 表示第 $u$ 次有效更新使用的梯度	参数或参数组
$m_{k, i}$	第 $k$ 个微批次中第 $i$ 个位置的有效监督掩码，取值为 0 或 1	Token
$N$	当前累计窗口内的有效监督位置总数	累计窗口
$s$	混合精度损失缩放因子	更新步
$θ_{u}$	第 $u$ 次有效更新前的模型参数	参数
$η_{u}$	第 $u$ 次有效更新使用的学习率	更新步
$U (g_{u})$	优化器根据梯度和内部状态形成的更新方向	参数
$b_{i}$	第 $i$ 类训练状态的字节数	状态对象
$a_{i} (t)$	状态 $i$ 在阶段 $t$ 是否驻留，驻留为 1，否则为 0	训练阶段
$B_{o u t}, B_{i n}$	搬出与搬回方向的有效带宽	传输链路
$T_{o v e r l a p}$	可由其他计算覆盖的传输时间	关键路径

局部反向与梯度汇合

机制	规范表达	成立条件与观察量	正文与代码入口
向量—雅可比积	$\bar{x} = J_{f} (x)^{T} \bar{y}$	$y = f (x)$ ；检查输出梯度、输入梯度和形状	02 自动求导与 Transformer 反向、Part 00 · 07
分支梯度汇合	$y = f (x) + h (x)$ ， $\bar{x} = J_{f} (x)^{T} \bar{y} + J_{h} (x)^{T} \bar{y}$	同一输入或共享参数从所有使用位置累计贡献	02 自动求导与 Transformer 反向、Part 02 · 09
Attention 前向	$S = Q K^{T} / \sqrt{d}$ ， $P = softmax (S)$ ， $O = P V$	$d$ 为每个 Attention Head 的维度；mask 在 Softmax 前作用于 $S$	Part 02 · 10 Attention 反向
Attention 反向	$d V = P^{T} d O$ ， $d P = d O V^{T}$ $d S = P ⊙ [d P - rowsum (d P ⊙ P)]$ $d Q = d S K / \sqrt{d}$ ， $d K = d S^{T} Q / \sqrt{d}$	每行 Softmax 独立求导；检查 mask、缩放、`dQ/dK/dV` 与 `gradcheck`	02 自动求导与 Transformer 反向、Part 02 · 10

监督归约与有效更新

机制	规范表达	粒度与更新条件	正文与代码入口
有效 Token 损失	$L = \frac{1}{N} \sum_{k, i} m_{k, i} ℓ_{k, i}$ ， $N = \sum_{k, i} m_{k, i}$	先累计损失分子和有效 Token 数，再做一次统一归约	03 监督与有效更新、Part 02 · 13 SFT
累计窗口梯度	$g = \nabla_{θ} L = \frac{1}{N} \sum_{k, i} m_{k, i} \nabla_{θ} ℓ_{k, i}$	不同长度微批次使用同一有效 Token 分母；窗口结束前不写回参数	Part 02 · 11 梯度累积
损失缩放与还原	$\tilde{L} = s L$ ， $\tilde{g} = s g$ ， $g = \tilde{g} / s$	FP16 常用动态 $s$ ；有限值检查和裁剪作用于还原后的真实梯度	Part 02 · 混合精度反向
有效参数更新	$θ_{u + 1} = θ_{u} - η_{u} U (g_{u})$ ，条件为 $finite (g_{u}) = 1$	梯度非有限时参数和 scheduler 均不推进； $u$ 只统计成功更新	Part 02 · 12 优化器与调度、Part 02 · 55 更新动力学

训练状态生命周期与峰值

机制	规范表达	粒度与观察量	正文与代码入口
阶段驻留量	$M_{t} = \sum_{i} a_{i} (t) b_{i}$	$a_{i} (t)$ 由创建、最后消费和释放时刻决定	04 训练状态生命周期、Part 02 · 43 内存账本
理论峰值	$M_{p e a k} = max_{t} M_{t}$	与 CUDA allocated/reserved 分开记录；理论账本用于解释主导对象	04 训练状态生命周期、Part 00 · 18 显存账本
Checkpoint 节省量	$Δ M_{c k p t} = M_{s a v e d, b a s e} - M_{s a v e d, c k p t}$	基线和候选使用同一模型、输入、累计窗口和测量边界	05 激活检查点与卸载、Part 02 · 19
Checkpoint 新增时间	$Δ T_{c k p t} = T_{c k p t} - T_{b a s e}$	新增时间主要来自反向重算和调度开销；同时检查输出与梯度一致	Part 02 · 19 激活检查点

Offload 搬运与暴露时间

机制	规范表达	粒度与观察量	正文与代码入口
理论往返时间	$T_{r o u n d t r i p} \approx b y t e s / B_{o u t} + b y t e s / B_{i n}$	`bytes` 是实际搬出并在反向前搬回的状态量	05 激活检查点与卸载、Part 02 · 42
暴露传输时间	$T_{e x p o s e d} = max (0, T_{r o u n d t r i p} - T_{o v e r l a p})$	只把未被计算覆盖的搬运计入关键路径；搬回必须早于消费点	Part 02 · 42 激活卸载、Part 02 · 76 策略对照

与其他专题的公式边界

公式对象	归属位置
SFT、DPO、GRPO、PPO、奖励与优势	后训练优化公式索引
All-Reduce、Reduce-Scatter、并行切分与扩展效率	通信与并行
吞吐、延迟、分位数、Roofline 与回归阈值	性能分析
量化范围、缩放、校准误差与低比特表示	量化与压缩