Skip to content

04. 训练状态生命周期与峰值账本 | Training-State Lifecycle and Peak Ledger ​

学习问题 ​

参数量没变,为什么前向、反向和优化器更新可能出现不同的显存峰值?张量的大小只说明占用多少,创建和最后使用的时刻决定它与谁同时存在。沿一次更新标出这些区间,才能找到真正形成峰值的对象。

核心机制 ​

下面按用途区分状态,但用途不同不保证存储独立:某个激活也可能正是自动求导保存的张量,视图或别名还可能共享底层存储。计算物理占用时,应按独立存储去重,而不是把“激活”和“反向保存张量”两栏直接相加。PyTorch 自动求导说明给出了不同保存张量对象共享原存储的例子。

状态产生时机主要消费者常见释放或更新时机
参数模型初始化或检查点加载前向传播、反向传播、优化器通常贯穿训练
缓冲区模块初始化或训练过程前向传播、验证、保存由模块生命周期决定
激活前向传播对应局部反向过程被消费后释放,或通过重算减少保存
反向保存张量前向传播中的自动求导节点局部反向过程对应节点完成反向传播后释放
参数梯度反向传播优化器、梯度同步更新后清零、置空或进入下一累计窗口
优化器状态首次更新或加载状态优化器更新步通常贯穿训练并持续更新
工作区算子执行当前内核或库调用算子结束后可复用,但影响瞬时峰值
通信缓冲区同步或分片通信集体通信 / 点对点通信通信完成后释放或复用

静态账本回答“每类对象有多大”,生命周期回答“它们是否同时存在”。训练峰值来自同一时刻仍然驻留的对象之和,而不是所有历史分配的简单相加。

一次更新中的状态变化 ​

阶段新产生或扩大的状态仍需驻留的状态主要峰值风险
前向传播开始输入与首层激活参数、优化器状态常驻状态已占用基础容量
前向传播末尾多层激活、反向保存张量、损失参数、优化器状态激活堆叠形成前向峰值
反向传播中段参数梯度逐步形成未消费的反向保存张量、参数、优化器状态激活与梯度发生重叠
反向传播结束完整参数梯度参数、优化器状态梯度和常驻状态同时存在
优化器更新临时更新工作区参数、梯度、优化器状态更新临时量可能形成新峰值
清理后下一窗口需要保留的状态参数、优化器状态梯度清零可保留分配,置空与实际回收又不同

从生命周期计算阶段峰值 ​

设去重后的第 i 份存储大小为 bi, ai(t) 表示它在阶段 t 是否驻留,驻留取 1,否则取 0。阶段驻留量和理论峰值分别为:

Mt=∑iai(t)bi,Mpeak=maxtMt.

例如,构造一个常驻参数与优化器状态共 6 MiB 的账本:前向末尾另有 6 MiB 保存量,总计 12 MiB;反向中段剩余保存量 3 MiB、已形成梯度 2 MiB,总计 11 MiB;更新阶段有梯度 2 MiB 和临时工作区 5 MiB,总计 13 MiB。最大值出现在更新阶段,并非必然在激活与梯度重叠时。

分配器负责申请与复用显存,已分配量(allocated)反映其活跃分配,预留量(reserved)还包含管理的空闲块;设备总占用还可能包含其他分配来源与进程。它们与理论账本统计对象不同,核对时要先对齐范围。首次优化器更新还可能新建状态,不能直接套用“状态已经常驻”的稳态账本;完整符号约定见公式索引。

策略改变的是哪一段生命周期 ​

策略主要改变仍需承担的成本
梯度累积梯度驻留时间与优化器更新频率参数仍完整驻留,累计窗口延长梯度生命周期
激活检查点激活的保存范围和反向重算参数与优化器状态仍驻留,并增加重算时间
卸载状态驻留位置和搬运时间状态仍需保存,并增加传输与同步等待
ZeRO按阶段把参数、梯度或优化器状态分片到各参与进程全局状态仍存在,并增加通信与恢复要求
混合精度部分状态和计算的字节宽度主权重副本取决于实现,还需核对累加精度与有限值

训练状态生命周期与峰值重叠

验证与下一步 ​

账本中先找形成峰值的独立存储,再确定它最后何时被使用。接下来在 05 激活检查点与卸载中比较重算与搬运;涉及多卡份额时,再进入Part 01 · 06 显存与 ZeRO。

相关阅读 ​

资料用途
Part 00 · 18 显存账本与运行时证据回看对象生命周期、allocator 与峰值账本。
Part 01 · 06 显存计算与 ZeRO将单卡账本扩展到状态切分。
Part 02 · 10 Attention 反向传播与自定义 Autograd回看长序列 Attention 的保存状态。
Part 02 · 43 统一训练内存账本练习分阶段驻留和峰值对象对照。

Released under the MIT License.