Skip to content

03 时间线、I/O 与关键路径 ​

在统一基线下,先观察事件何时开始、何时完成,以及谁必须等待谁。本页保留事件区间与依赖路径的推导,供性能优化Task1定位等待、Task6重新检查组合结果使用;总耗时的变化本身还不足以解释原因。

建立可比较的时间基线 ​

沿用基线采集方法的计时窗口,再拆分阶段。训练阶段占比使用同次、同范围的计时:单独测得的前向总时间不能作为整步训练的分母;采用互不重叠的阶段总和或端到端时间时,也需分别注明。

场景优先指标应拆开的阶段
训练训练步耗时(step_time_ms)、样本数/秒数据读取、主机到设备搬运(H2D)、前向传播、反向传播、优化器更新
单请求推理TTFT、TPOT、端到端延迟输入处理、预填充、解码、流式输出
批处理 / 服务吞吐、P50 / P99、排队等待排队、组批、执行、网络与输出

从执行轨迹定位耗时与等待 ​

先把框架算子对应到设备计算内核,再结合主机提交、同步和输入事件检查等待。算子累计时间长,可能来自调用频繁,也可能来自某个内核耗时;设备空白区间则需向前追查尚未满足的依赖。

观察对象可能含义需要再核对的证据
算子调用次数高图被切得过碎或 Python 调度频繁计算内核数量、启动间隙
计算内核时长高计算或访存可能成为热点形状、利用率、访存指标
H2D 或数据读取拉长输入管线可能延长完成时间数据加载器、预取、存储与批次形状
CPU/GPU 空洞同步、等待或依赖阻塞CUDA 流、队列与上游事件

时间、输入搬运与关键路径

为什么事件总时长不等于完成时间 ​

吞吐必须说明工作单位和测量窗口。设 N 为窗口内完成的样本、请求或词元数, T>0 为包含相关等待的总秒数,则吞吐 Q=N/T。失败数和未完成数另行报告;输出词元吞吐与请求吞吐不能混用。

比较同一范围的基线耗时 Tb>0 与候选耗时 Tc>0 时,加速比 S=Tb/Tc,延迟降幅 d=1−Tc/Tb。例如从 10 ms 降到 8 ms 是 1.25 倍加速、20% 延迟降幅;加速比增幅与延迟降幅的分母不同。重复实验还应说明这里比较的是均值、中位数还是配对统计量。

重叠事件的持续时间不能直接相加为端到端耗时。设第 i 个事件占据半开区间 Ii=[si,ei), si,ei 是同一时间轴上的起止时刻,则这些事件覆盖的时间为:

Tbusy=|⋃iIi|≤∑i(ei−si).

这里 |⋅| 表示区间并集的总长度,单位与时间戳一致; Tbusy 不包含区间之间的空洞,也不自动等于整个请求或训练步的耗时。嵌套的主机标注与设备事件应分层分析,避免重复累计。

要解释完成时间,还需加入数据依赖和同一资源上的执行顺序。设事件构成无环图, di 为事件 i 的持续时间, P 为从开始到结束的依赖路径集合,则依赖关系给出的完成时间下界为:

Tdep=maxp∈P∑i∈pdi,Tobs≥Tdep.

p 表示一条路径, Tobs 是同一测量窗口内的实际耗时。等待、启动延迟或资源串行约束未被记录时,这个下界会偏松;只有完整表达相关约束和持续时间时,才能用最长路径重建完成时间。图中 A 等待输入与主机提交,B 同时依赖 A 的结果和自身的主机提交;本例中 A 先完成,设备继续等待 B 提交,主机在 B 完成后消费结果。

按分析目标选择工具层 ​

先用轻量计时确认现象,再用框架追踪定位阶段。需要解释跨线程等待、单个计算内核效率或多进程通信时,再选择对应工具,并保留同一工作负载和采集范围。

分析目标首选工具与证据升级条件升级后的工具
确认总时间、阶段时间或峰值是否变化perf_counter、CUDA 事件计时、显存 API 的重复样本聚合指标无法解释时间去了哪里PyTorch Profiler
定位算子、输入搬运和 CPU/GPU 空洞PyTorch Profiler 的事件、形状和执行轨迹需要解释跨线程、CUDA 流、同步或系统 I/ONsight Systems
解释单个计算内核效率框架追踪确认该计算内核位于关键路径需要访存吞吐、占用率和指令级证据Nsight Compute
解释显存峰值PyTorch 显存统计、显存快照和对象驻留时间线无法确认对象身份、分配栈或峰值重叠显存快照与调用栈联合分析
解释多卡扩展损失每进程阶段时间、载荷和集合通信记录需要区分最慢进程、拓扑、负载不均与暴露通信NCCL 执行轨迹、HTA 或 Nsight Systems
解释推理服务尾延迟TTFT、TPOT、队列和请求执行轨迹需要关联缓存、批次、调度与后端执行服务后端的请求追踪与系统时间线

保留可复查的工具产物 ​

各工具保存可追溯到本次运行的原始产物与配套上下文,供后续重新检查;字段与登记位置见实验资产表。

工具层应保存的原始产物同时记录的上下文
轻量测量每次计时、峰值和失败样本单位、同步方式、预热与重复次数
PyTorch Profiler执行轨迹文件与算子摘要采集计划、活动类型、形状与调用栈开关
显存分析显存快照或对象驻留记录峰值阶段、对象身份、allocated / reserved
Nsight Systems系统追踪报告采集命令、时间窗口、进程与设备
Nsight Compute计算内核报告计算内核名称、输入形状、指标集合与调用位置
NCCL / 多进程追踪各进程执行轨迹与集合通信摘要进程数、拓扑、载荷、最慢进程和对时方法
服务追踪请求级执行轨迹到达时间、输入/输出长度、缓存、批次与调度状态

按等待来源选择对照 ​

事件、资源及前后依赖的记录方法见Part 02 · PERF-TRACE 执行轨迹与关键路径。需要回查搬运、启动或同步原理时,分别参考Part 01 · 07 异构调度、Part 01 · 15 CUDA 执行模型和Part 01 · 17 CUDA 流。按下表选择继续验证的位置。

当前观察下一项对照或分析
设备等待下一批输入Part 02 · PERF-INPUT比较数据准备、预取和搬运
产物读取、状态传输或输出写回拉长完成时间Part 02 · PERF-IO检查分阶段耗时与可重叠窗口
容量与等待相互影响结合04 显存时间线记录峰值,再用05 瓶颈归因检查原因
计算或同步已成为主要嫌疑用05 瓶颈归因选择资源或依赖对照

Released under the MIT License.