03 时间线、I/O 与关键路径
在统一基线下,先观察事件何时开始、何时完成,以及谁必须等待谁。本页保留事件区间与依赖路径的推导,供性能优化Task1定位等待、Task6重新检查组合结果使用;总耗时的变化本身还不足以解释原因。
建立可比较的时间基线
沿用基线采集方法的计时窗口,再拆分阶段。训练阶段占比使用同次、同范围的计时:单独测得的前向总时间不能作为整步训练的分母;采用互不重叠的阶段总和或端到端时间时,也需分别注明。
| 场景 | 优先指标 | 应拆开的阶段 |
|---|---|---|
| 训练 | 训练步耗时(step_time_ms)、样本数/秒 | 数据读取、主机到设备搬运(H2D)、前向传播、反向传播、优化器更新 |
| 单请求推理 | TTFT、TPOT、端到端延迟 | 输入处理、预填充、解码、流式输出 |
| 批处理 / 服务 | 吞吐、P50 / P99、排队等待 | 排队、组批、执行、网络与输出 |
从执行轨迹定位耗时与等待
先把框架算子对应到设备计算内核,再结合主机提交、同步和输入事件检查等待。算子累计时间长,可能来自调用频繁,也可能来自某个内核耗时;设备空白区间则需向前追查尚未满足的依赖。
| 观察对象 | 可能含义 | 需要再核对的证据 |
|---|---|---|
| 算子调用次数高 | 图被切得过碎或 Python 调度频繁 | 计算内核数量、启动间隙 |
| 计算内核时长高 | 计算或访存可能成为热点 | 形状、利用率、访存指标 |
| H2D 或数据读取拉长 | 输入管线可能延长完成时间 | 数据加载器、预取、存储与批次形状 |
| CPU/GPU 空洞 | 同步、等待或依赖阻塞 | CUDA 流、队列与上游事件 |
为什么事件总时长不等于完成时间
吞吐必须说明工作单位和测量窗口。设
比较同一范围的基线耗时
重叠事件的持续时间不能直接相加为端到端耗时。设第
这里
要解释完成时间,还需加入数据依赖和同一资源上的执行顺序。设事件构成无环图,
按分析目标选择工具层
先用轻量计时确认现象,再用框架追踪定位阶段。需要解释跨线程等待、单个计算内核效率或多进程通信时,再选择对应工具,并保留同一工作负载和采集范围。
| 分析目标 | 首选工具与证据 | 升级条件 | 升级后的工具 |
|---|---|---|---|
| 确认总时间、阶段时间或峰值是否变化 | perf_counter、CUDA 事件计时、显存 API 的重复样本 | 聚合指标无法解释时间去了哪里 | PyTorch Profiler |
| 定位算子、输入搬运和 CPU/GPU 空洞 | PyTorch Profiler 的事件、形状和执行轨迹 | 需要解释跨线程、CUDA 流、同步或系统 I/O | Nsight Systems |
| 解释单个计算内核效率 | 框架追踪确认该计算内核位于关键路径 | 需要访存吞吐、占用率和指令级证据 | Nsight Compute |
| 解释显存峰值 | PyTorch 显存统计、显存快照和对象驻留时间线 | 无法确认对象身份、分配栈或峰值重叠 | 显存快照与调用栈联合分析 |
| 解释多卡扩展损失 | 每进程阶段时间、载荷和集合通信记录 | 需要区分最慢进程、拓扑、负载不均与暴露通信 | NCCL 执行轨迹、HTA 或 Nsight Systems |
| 解释推理服务尾延迟 | TTFT、TPOT、队列和请求执行轨迹 | 需要关联缓存、批次、调度与后端执行 | 服务后端的请求追踪与系统时间线 |
保留可复查的工具产物
各工具保存可追溯到本次运行的原始产物与配套上下文,供后续重新检查;字段与登记位置见实验资产表。
| 工具层 | 应保存的原始产物 | 同时记录的上下文 |
|---|---|---|
| 轻量测量 | 每次计时、峰值和失败样本 | 单位、同步方式、预热与重复次数 |
| PyTorch Profiler | 执行轨迹文件与算子摘要 | 采集计划、活动类型、形状与调用栈开关 |
| 显存分析 | 显存快照或对象驻留记录 | 峰值阶段、对象身份、allocated / reserved |
| Nsight Systems | 系统追踪报告 | 采集命令、时间窗口、进程与设备 |
| Nsight Compute | 计算内核报告 | 计算内核名称、输入形状、指标集合与调用位置 |
| NCCL / 多进程追踪 | 各进程执行轨迹与集合通信摘要 | 进程数、拓扑、载荷、最慢进程和对时方法 |
| 服务追踪 | 请求级执行轨迹 | 到达时间、输入/输出长度、缓存、批次与调度状态 |
按等待来源选择对照
事件、资源及前后依赖的记录方法见Part 02 · PERF-TRACE 执行轨迹与关键路径。需要回查搬运、启动或同步原理时,分别参考Part 01 · 07 异构调度、Part 01 · 15 CUDA 执行模型和Part 01 · 17 CUDA 流。按下表选择继续验证的位置。
| 当前观察 | 下一项对照或分析 |
|---|---|
| 设备等待下一批输入 | Part 02 · PERF-INPUT比较数据准备、预取和搬运 |
| 产物读取、状态传输或输出写回拉长完成时间 | Part 02 · PERF-IO检查分阶段耗时与可重叠窗口 |
| 容量与等待相互影响 | 结合04 显存时间线记录峰值,再用05 瓶颈归因检查原因 |
| 计算或同步已成为主要嫌疑 | 用05 瓶颈归因选择资源或依赖对照 |
