04 显存时间线与驻留状态
沿用统一基线的输入和观察窗口,找出峰值时仍占用空间的对象。本页用存储的大小、创建与释放时刻解释峰值,供性能优化Task1观察容量、Task3/4选择状态策略使用;分配频繁或回收延迟是否让计算等待,另与时间线对应。
先定位峰值与生命周期
把峰值放回运行阶段,区分长期状态与临时工作区。allocated 表示张量已分配的显存,reserved 表示分配器持有的显存;分析未被活跃分配使用的空间时,比较二者同一时刻的数值。两项区间最大值可能发生在不同时刻,其差不能代表峰值时的保留空间。图中 32、16、8、8 MiB 是说明驻留求和的示意大小,不是本机实测;横向长度表示时间,而非容量。
| 观察 | 可以提出的假设 | 仍需补充的证据 |
|---|---|---|
allocated 峰值抬高 | 活跃对象容量增加 | 对象类型、形状与生命周期 |
同一时刻 reserved 明显高于 allocated | 分配器持有较多未被活跃张量使用的空间 | 显存快照、分配频率与复用情况 |
| 激活跨反向传播驻留 | 训练状态压力上升 | 计算图与激活检查点对照 |
| 缓存随并发增长 | 请求状态容量受限 | 上下文、并发与淘汰策略 |
用驻留区间解释峰值
先给每项独立存储标出分配与释放时刻,再统计同一时刻仍驻留的字节数。设存储
例如两块独立存储分别为16 MiB和8 MiB:生命周期相交时可同时占24 MiB;前一块释放后后一块才分配时,活动存储峰值则为16 MiB。这个构造例子说明,减少8 MiB对象只有在它跨越原峰值时才可能降低该峰值。reserved高于allocated仅表示分配器仍持有未被活跃分配使用的空间;判断是否存在碎片,还需显存快照、分配失败或复用记录。
| 对象 | 常见驻留区间 | 峰值出现时要问的问题 | 可做的判别对照 |
|---|---|---|---|
| 参数、梯度和优化器状态 | 加载或更新开始后长期存在 | 状态本身是否超过容量预算? | 固定模型、输入与更新预算,单独改变数据类型、分片或更新范围 |
| 保存的激活 | 前向创建至最后一次消费后释放 | 是否与梯度、临时工作区重叠? | 激活检查点前后峰值与训练步时间 |
| 临时工作区 | 单个算子或阶段内短暂存在 | 是否正好落在其他对象尚未回收的窗口? | 固定形状下的算子或后端对照 |
| KV Cache、请求状态 | 请求进入后至完成或淘汰 | 上下文、并发还是淘汰延迟扩大了容量? | 固定请求长度下改变并发或复用率 |
进入容量策略复测
用Part 00 · 18 显存分析练习生命周期估算与构造快照对账;Part 02 · PERF-MEMORY-TIMELINE的 CPU 练习从分配与释放事件计算活动对象,GPU 对照则测量生命周期改动后的峰值、耗时和校验和。确认峰值对象后,训练状态进入性能优化 · 训练输入与状态,请求状态进入性能优化 · 推理状态容量,继续比较容量收益与时间、质量代价。
