测量与诊断方法索引
所属路线:性能优化 方法出口:把性能现象转化为可复查的计时、驻留、归因与配对比较
训练变慢、请求延迟升高、显存不足或多卡等待时,先选定要观察的计算、张量、请求或进程,再用计时、执行轨迹、驻留记录和对照解释变化。分析不仅用于第一次定位问题;替换执行路径、改变精度或组合策略后,也需要用同样的方法重新检查耗时与峰值。
这些方法贯穿性能优化统一学习路线:建立基线时固定测量范围,选择改动前检验原因,改动后重新检查时间、峰值与波动。按当前问题从下表进入即可,无需先读完全部方法。具体排查可查判断手册,连续跟踪一次诊断可看统一问题链,术语与公式分别见术语表和公式索引。
方法索引与推荐阅读
首次学习先读“测量对象”和“可重复基线”,随后按问题选择时间线或显存驻留,结合资源参考检验原因。已有候选或版本对照时使用配对统计;最后把判断和未知项记入诊断,继续选改动或补测。各方法也可在复测中单独回查。
| 方法与主要问题 | 正文入口 | 机制与项目练习 | 在统一路线中的使用位置 |
|---|---|---|---|
| 测量对象:观察哪一段运行、哪个指标? | 01 测量对象、边界与观测层级 | Part 00 · 20 性能证据与实验设计 | Task0将主线目标落实为测量范围 |
| 可重复基线:怎样固定输入、预热和统计范围? | 02 可重复基线 | Part 00 · 17 性能分析基础;Part 02 · 73 训练性能分析 | Task0建立基线,Task5/6复测沿用 |
| 时间线与依赖:哪些等待真正延长完成时间? | 03 时间线、I/O与关键路径 | Part 02 · PERF-TRACE;按问题深入PERF-INPUT或PERF-IO | Task1观察等待,Task3/4改动后重新检查 |
| 对象驻留:峰值时哪些状态同时存在? | 04 显存时间线与驻留状态 | Part 00 · 18 显存分析;Part 02 · PERF-MEMORY-TIMELINE | Task1解释峰值,Task3/4复查状态变化 |
| 瓶颈归因:什么对照能区分可能原因? | 05 瓶颈归因 | Part 02 · PERF-ROOFLINE;通信问题可进入Part 02 · 47 NCCL性能分析 | Task2选择改动,Task6重新归因 |
| 配对比较:差异来自改动还是测量波动? | 06 基准设计与回归验证 | Part 02 · PERF-REGRESSION | Task5/6区分收益、允许回归与失败 |
| 诊断记录:哪些原因已有支持,哪些仍需补测? | 07 从归因到行动 | Part 02 · 74 候选准入与交接 | Task2保留假设,Task5/6更新判断与下一动作 |
扩展与跨专题入口
按需要解释的对象回查下表。提出改动时进入性能优化的候选选择;改动后出现新等待或峰值时,按下表重新选择分析方法。
| 需要解释的对象 | 回补入口 | 性能分析使用的证据 |
|---|---|---|
| 主机与设备的执行顺序 | Part 01 · 07 异构调度、Part 01 · 15 CUDA 执行模型、Part 01 · 17 CUDA 流 | 主机提交、设备执行、同步与可重叠区间 |
| 计算量、搬运字节与资源参考 | Part 01 · 02 参数量与 FLOPs、Part 01 · 03 GPU 架构与显存、Part 01 · 13 瓶颈定位 | 工作量、算术强度、经验参考与限制条件 |
| 训练计算图、激活与优化器状态 | 反向传播与训练机制 | 前向传播 / 反向传播 / 更新的时间线、状态驻留与峰值 |
| 请求阶段、KV Cache 与调度 | 推理优化 | TTFT、TPOT、吞吐、并发、队列和状态容量 |
| 量化表示与执行路径 | 量化与压缩 | 权重、激活或 KV 字节,质量与实际低精度执行路径 |
| 多卡传输与进程等待 | Part 01 · 05 通信拓扑、Part 01 · 20 NCCL 与 AllReduce、通信与并行 | 拓扑、集合通信、慢进程和暴露等待 |
| 单算子的计算与访存 | 算子优化 | 输入形状、实际计算内核、启动与访存开销 |
实验与项目出口
首次运行或选择复现实验时,从性能优化实验总索引进入;其中的测量与诊断记录保留本页方法实验的具体输入和结果。工具与采集范围的选择见正文 03 时间线、I/O 与关键路径,跨专题环境关系见环境资产索引。
| 已有记录或目标 | 直接入口 | 需要带入什么 |
|---|---|---|
| 建立真实训练基线 | Part 02 · 73 训练性能分析 | 模型、输入、更新方式、计时范围与质量要求 |
| 按诊断比较优化方案 | 性能优化专题 | 当前归因、原始结果、反例、未知项与目标指标 |
| 审核候选并形成项目交接 | Part 02 · 74 性能剖析驱动优化 | 可重复基线、候选执行路径、配对结果和回退条件;结论限于输入报告的负载与验证范围 |
