Skip to content

04 显存时间线与驻留状态 ​

沿用统一基线的输入和观察窗口,找出峰值时仍占用空间的对象。本页用存储的大小、创建与释放时刻解释峰值,供性能优化Task1观察容量、Task3/4选择状态策略使用;分配频繁或回收延迟是否让计算等待,另与时间线对应。

先定位峰值与生命周期 ​

把峰值放回运行阶段,区分长期状态与临时工作区。allocated 表示张量已分配的显存,reserved 表示分配器持有的显存;分析未被活跃分配使用的空间时,比较二者同一时刻的数值。两项区间最大值可能发生在不同时刻,其差不能代表峰值时的保留空间。图中 32、16、8、8 MiB 是说明驻留求和的示意大小,不是本机实测;横向长度表示时间,而非容量。

观察可以提出的假设仍需补充的证据
allocated 峰值抬高活跃对象容量增加对象类型、形状与生命周期
同一时刻 reserved 明显高于 allocated分配器持有较多未被活跃张量使用的空间显存快照、分配频率与复用情况
激活跨反向传播驻留训练状态压力上升计算图与激活检查点对照
缓存随并发增长请求状态容量受限上下文、并发与淘汰策略

显存时间线与驻留诊断

用驻留区间解释峰值 ​

先给每项独立存储标出分配与释放时刻,再统计同一时刻仍驻留的字节数。设存储 i 占用 bi 字节,分配、释放时刻分别为 ai,fi, 1(⋅) 是条件成立时为 1、否则为 0 的指示函数,则:

M(t)=∑ibi1(ai≤t<fi),Mpeak=maxtM(t).

t 是观察窗口内的时间, M(t) 和 Mpeak 的单位均为字节。共享底层存储的视图只计一次;同一时刻的分配与释放使用一致的事件顺序。示意图假设每行字节数固定且不共享存储,四类对象共同驻留的区间才是图中峰值区间。真实分配器还包含对齐、缓存等行为,账本应与同一范围的实测值核对,不能直接替代整个设备的显存占用。

例如两块独立存储分别为16 MiB和8 MiB:生命周期相交时可同时占24 MiB;前一块释放后后一块才分配时,活动存储峰值则为16 MiB。这个构造例子说明,减少8 MiB对象只有在它跨越原峰值时才可能降低该峰值。reserved高于allocated仅表示分配器仍持有未被活跃分配使用的空间;判断是否存在碎片,还需显存快照、分配失败或复用记录。

对象常见驻留区间峰值出现时要问的问题可做的判别对照
参数、梯度和优化器状态加载或更新开始后长期存在状态本身是否超过容量预算?固定模型、输入与更新预算,单独改变数据类型、分片或更新范围
保存的激活前向创建至最后一次消费后释放是否与梯度、临时工作区重叠?激活检查点前后峰值与训练步时间
临时工作区单个算子或阶段内短暂存在是否正好落在其他对象尚未回收的窗口?固定形状下的算子或后端对照
KV Cache、请求状态请求进入后至完成或淘汰上下文、并发还是淘汰延迟扩大了容量?固定请求长度下改变并发或复用率

进入容量策略复测 ​

用Part 00 · 18 显存分析练习生命周期估算与构造快照对账;Part 02 · PERF-MEMORY-TIMELINE的 CPU 练习从分配与释放事件计算活动对象,GPU 对照则测量生命周期改动后的峰值、耗时和校验和。确认峰值对象后,训练状态进入性能优化 · 训练输入与状态,请求状态进入性能优化 · 推理状态容量,继续比较容量收益与时间、质量代价。

Released under the MIT License.