Skip to content

01 明确优化目标与比较条件 ​

本节导读 ​

面对训练变慢、显存不足或服务尾延迟升高,先找出能复现现象的输入,选定要改善的指标,再规定后续比较保持哪些条件一致。例如,减少显存占用可以允许单步稍慢,但训练吞吐和质量仍需满足事先设定的要求。

本节先建立可重复的基线,也就是后续改动都要与之比较的参照运行:固定输入、目标、测量范围和停止条件。将准备测试的改动称为候选,必须同时满足的正确性、质量和资源要求称为守护条件;服务等级目标(SLO)则给出请求时限或成功率要求。已有诊断时把候选加入比较记录,还不知道原因时先保留现象和原始样本。

固定输入与测量条件后比较候选

从问题与已有记录中提取哪些信息 ​

先记录哪种输入会出现问题、完成一次任务需要多久、是否触及资源上限。已有诊断时,继续带入受限阶段、相关对象和支持判断的测量;只有热点名称或一张利用率截图时,先补能区分原因的测量,再选择改动。表中的可能原因与待比较改动,可以在完成后续分析后补齐。

信息需要记录什么如何用于候选实验
现象与范围哪种输入、设备和运行阶段出现慢或容量不足选取能够复现问题的基线
可能原因时间线、对象驻留、资源参考或依赖关系指明改动要减少的工作量或等待
已检查的解释对照结果、反例和仍无法解释的现象避免重复检验已被排除的原因
目标与守护指标主目标、正确性、质量、失败率及资源预算预先确定采用与停止条件
待比较的改动配置差异、预期收益与新增开销一次检验一个作用明确的假设

证据不足时先补哪种测量 ​

例如,同一训练批次重复运行都需要约100 ms,先保留取批、前向、反向和更新的分段时间。若取批等待占30 ms,应继续观察数据何时就绪,而不是先改矩阵乘法。这是用于说明分析过程的假设例子;后续结论仍需实际重复样本。

先用测量对象、边界与观测层级区分局部调用、完整训练步和请求窗口。时间线按开始、结束与依赖关系排列运行事件;关键路径是决定任务最早完成时刻的依赖链。显存驻留则表示张量已创建且底层存储仍未释放。时间问题再进入时间线与关键路径,峰值问题进入对象驻留;得到受限阶段和相关对象后,再进入资源约束与候选代价。服务测量还需区分首词元时间(TTFT)、后续每词元平均时间(TPOT)和延迟的第99百分位(P99),它们分别反映不同阶段或分布位置。

当前疑问优先方法需要带回的结果
慢在哪个阶段固定输入,分段计时并保留重复样本异常阶段、总时间和波动范围
等待是否延长了完成时间用 PyTorch Profiler 或 Nsight Systems 采集事件与依赖前驱事件、暴露等待与关键路径
哪些对象形成峰值显存统计、内存快照及对象创建与释放记录峰值时刻、并存对象和对象大小
目标计算内核是否生效后端日志、Profiler 算子表;必要时使用 Nsight Compute实际内核、输入形状、局部时间及回退路径
服务尾延迟为何升高分开记录到达、排队、首词元和后续输出时间请求长度分布、TTFT、TPOT、P99 与失败率

主目标与守护指标怎样配合 ​

同一轮比较先确定一个主目标,其余要求作为守护条件。例如,目标是降低显存时,可预先允许训练步变慢一定比例,但验证损失和有效吞吐仍要达标。有效词元是按任务规则计入工作量的词元;填充位置另行统计,避免把更多填充算成吞吐收益。

主目标它反映什么需要同时检查
降低训练单步时间固定训练步骤中前向、反向与更新的完成时间有效批量、有效词元吞吐、训练质量
提高训练吞吐(Token/s)每秒处理的有效词元数数据与监督规则、有效批量、显存和质量
降低峰值显存测量区间内同时驻留的对象及分配开销单步时间、吞吐、质量;区分已分配量与分配器保留量
降低 TTFT从请求到达到首个输出词元的时间排队、预填充、缓存状态及后续生成速度
降低 TPOT首词元之后,每个输出词元的平均生成时间具体统计定义、生成长度、批量和调度;均值不能描述全部间隔波动
降低 P99 延迟延迟分布的第 99 百分位请求规模与分布、失败与拒绝、吞吐及服务时限
减少暴露通信或 I/O实际延长关键路径的通信或搬运等待端到端时间、并发争用、缓冲区与正确性

基线与候选如何保持可比 ​

比较时固定与当前假设无关的条件,把主动改动单独列出。例如检验 BF16 时,数据类型就是受控变量;检验异步复制时,则保持数据类型、输入和模型一致。改变批量或并发后的扩容实验单独登记,与固定负载下的直接收益分开解释。

下表确定比较条件;实际采集前,继续用可重复基线方法展开同步计时、预热、轮次与采集开销。基础练习见Part 00 · 20 性能证据与实验设计。

条件固定或明确记录的内容改变后的处理
模型与输入模型和数据版本、样本集合、长度分布、输出上限、有效批量与并发作为主动变量时明确列出;其他变化重新建立对照
运行环境硬件、软件、后端、数据类型、并行配置及缓存状态核对是否属于预期差异,不能默认为同一条件
测量方法预热、重复次数、轮内顺序、同步位置、计时区间和显存统计项保持一致,冷启动与稳态分开
原始记录逐次样本、配对关系、失败与拒绝、质量结果基线与候选分别保存,缺失结果不填零
判断门槛主目标、质量、资源预算、允许回归及停止条件在看到结果前确定,候选不得临时放宽

遇到哪些结果应停止或重新比较 ​

失败运行仍计入失败或容量分析,但不作为成功延迟样本。输入变化、测量混杂和候选失效也应分别记录,避免统一丢弃后只保留最快的一组。

观察对当前比较的影响处理方式
输入长度、批量或并发意外改变工作量不同,无法归因于原改动恢复固定输入,或另建扩容对照
首次运行与稳态混合加载、编译或缓存开销与持续执行混杂按运行阶段分开记录
候选静默回退实际执行的不是目标策略保存路径与警告,修复后再判断目标策略收益
只有汇总值或单次运行无法重新检查波动和配对关系保留当前记录,补采逐次样本
正确性或质量超限性能结果不满足采用条件停用候选并保留失败记录
OOM 或请求被拒绝该配置不能完成目标工作负载记录失败阶段、容量与配置,不计算该失败点的加速比

Released under the MIT License.