03 训练输入、状态与资源账本
本节导读
训练步骤可能在等待下一批数据,也可能因为参数、激活、梯度、优化器状态和临时工作区同时驻留而达到显存峰值。这里的驻留是指对象仍占用设备存储,资源账本则按对象大小及创建、释放时刻解释这些占用。只看GPU利用率或模型参数量,无法区分供给不足、计算开销和状态容量。
先检查批次从存储到设备的供给过程,再重建训练状态的生命周期和峰值。H2D指主机到设备的搬运;前向计算保存的中间结果称为激活,反向时会读取它们。图中数据供给和设备执行相互衔接,随后比较输入、更新、重算或卸载改动对完整训练步的影响。
输入供给如何影响训练步骤
预取会提前准备下一批数据,异步复制允许主机继续提交工作,但是否与当前批计算重叠还取决于流依赖和资源。锁页内存是固定在主机物理内存中的缓冲区,可用于相应的异步搬运;增加预取深度也会增加主机内存。按长度分桶减少同批长度差异,样本拼接则将短样本放入同一序列,还要保持注意力与标签边界。
| 阶段 | 需要观察的对象 | 常见问题 | 候选动作 |
|---|---|---|---|
| 读取与解析 | 文件、样本、随机访问与 CPU 时间 | 存储等待、重复解析、小文件开销 | 顺序布局、缓存、并行读取 |
| 组批与填充 | 有效词元数、长度分布、有效词元比例 | 无效填充增加计算,组批速度不足 | 按长度分桶、样本拼接、预取 |
| 锁页内存与 H2D | 批次字节、复制时间、复制流 | 同步复制阻塞设备计算 | 锁页内存、异步搬运、双缓冲 |
| 设备消费 | 取批等待、计算区间、队列深度 | GPU 等待下一批,或预取占用过多主机内存 | 调整数据加载进程数、预取深度和批量 |
哪些训练状态共同形成峰值
显存峰值取决于同一时刻仍驻留的对象。记录对象大小、创建和释放时刻,以及是否共享底层存储,再与运行时统计核对;把各阶段的独立最大值相加会高估峰值。理论对象字节、已分配显存和分配器保留显存分别记录。
| 对象 | 常见驻留阶段 | 主要影响因素 | 典型候选策略 |
|---|---|---|---|
| 参数与高精度主权重 | 全训练过程 | 模型规模、数据类型、是否复制 | 混合精度、量化与分片 |
| 梯度与优化器状态 | 首次分配后按训练循环保留;更新及清零方式影响释放时刻 | 可训练参数规模、优化器、设备数 | 状态分片、卸载、低精度优化器状态 |
| 激活 | 前向传播到对应反向传播 | 批量、序列长度、层数、注意力 | 重算、卸载、重排计算 |
| 工作区与临时张量 | 特定算子或通信阶段 | 计算内核、形状、集合通信、并发 | 算子路径、布局与调度 |
| 通信缓冲区 | 集合通信与同步窗口 | 并行策略、拓扑、分桶 | 分桶、分片、通信—计算重叠 |
不同训练形态如何改变资源账本
监督微调(SFT)可以更新全部参数,也可以只更新低秩适配器(LoRA);QLoRA则在量化冻结基座上训练适配器。它们改变可训练状态的数量,但前向与反向仍可能保存大量激活。偏好或奖励优化还会增加成对响应、多条轨迹以及参考、奖励或价值计算,实际驻留取决于配置;KL约束用于限制策略相对参考分布的偏离,是否启用也会改变参考计算需求。
| 训练形态 | 新增或变化的资源对象 | 主要性能问题 | 最小证据 |
|---|---|---|---|
| 全参数 SFT | 全量参数、梯度、优化器状态、激活 | 更新状态和激活是否超过预算 | 单步时间、有效词元吞吐、峰值显存、验证质量 |
| LoRA / QLoRA | 适配器、冻结或量化基座、较小优化器状态 | 容量下降是否换来反量化或数据路径开销 | 可训练参数、峰值、吞吐、适配器产物、质量 |
| 直接偏好优化(DPO) | 策略模型、参考计算、优选/拒绝两路响应 | 多次前向与响应长度分布是否主导单步时间 | 模型驻留、成对响应词元数、单步时间、偏好质量 |
| 近端策略优化(PPO) | 策略、参考、奖励与价值计算、轨迹缓冲区 | 多模型驻留和轨迹生成/更新比例是否失衡 | 轨迹生成时间、更新时间、峰值、奖励与任务质量 |
| 组相对策略优化(GRPO) | 策略模型、多响应与奖励;规则奖励时包含验证结果,按KL配置使用参考计算 | 组采样和评分是否限制有效更新吞吐 | 每提示响应数、轨迹吞吐、评分时间、有效样本率 |
时间—容量取舍如何验证
先固定任务和有效批量,再比较单项改动。微批量是一次前向和反向处理的样本数,有效批量还包含累积次数和数据并行规模。减小微批量并累积梯度可减少单次保存的激活,但通常不减少参数或优化器状态;缩短序列则改变了训练上下文,需要另设质量对照。
假设同一有效批量下,重算把峰值从10 GiB降到7 GiB,训练步从100 ms变成120 ms,它获得容量收益,却使固定负载吞吐变为原来的约83.3%。若想利用释放的容量增大批量,应另做扩容比较;若主要耗时来自优化器,还需比较保持同一更新规则的不同执行实现,而不是只调整激活。输入等待用Part 02 · PERF-INPUT检查,峰值对象用Part 02 · PERF-MEMORY-TIMELINE核对;传输等待突出时查看计算、通信与I/O,候选确定后进入单项复测。上述数字只用于说明取舍。
建立模型训练对照可从Part 02 · 73进入,其现有计时从输入已驻留设备后开始;输入供给需另外测量。更新实现选75 AdamW执行路径,它独立使用合成MLP,不直接复用73的模型结果;激活策略选76 重算与卸载,其中AdamW训练对照与无动量SGD的激活隔离实验分别解释,专项显存收益不替代完整训练采用判断。
| 现象 | 先确认的证据 | 可比较的候选 | 不能省略的复测 |
|---|---|---|---|
| 激活主导峰值 | 保存张量、序列长度、前向/反向重叠 | 重算、卸载;固定有效批量下减小微批量并累积梯度 | 单步时间、有效吞吐、质量与失败状态 |
| 优化器更新耗时明显 | 更新阶段时间、参数张量布局与实际实现 | 保持更新规则不变,比较逐张量、批量张量与融合实现 | 参数误差、完整训练步、临时显存与质量 |
| 优化器状态主导峰值 | 参数规模、优化器与参数副本 | 低精度状态、ZeRO、替代优化器 | 通信、收敛和恢复路径 |
| 通信缓冲区或工作区抬高峰值 | 集合通信时间线、分桶、工作区生命周期 | 分桶、并行配置、算子路径 | 暴露通信、扩展效率与正确性 |
| 输入阶段暴露在关键路径上 | 取批等待、H2D 与设备空闲区间 | 预取、样本拼接、异步搬运 | 有效词元吞吐、主机内存与数据一致性 |
| 轨迹生成或验证器主导总时长 | 采样/更新比例、多响应数量、验证等待 | 并行采样、批次、异步验证 | 策略新鲜度、有效样本率、质量与失败重试 |
| 多模型驻留超过预算 | 各模型的设备位置、精度和重叠区间 | 分池、卸载、共享基座、阶段化执行 | 状态交接、通信、吞吐和数值一致性 |
