性能优化(Performance Optimization)
专题类型:主学习路线 学习目标:测量并解释性能问题,比较单项与组合改动的收益、代价和适用范围。
训练步骤慢、请求尾延迟高或显存容量不足时,先固定能复现问题的输入,测量时间、等待和显存峰值,再选择能减轻主要限制的改动。重算、卸载、低精度计算与异步执行会改变计算、驻留或搬运;改动后需要重新观察瓶颈,才能判断局部收益是否传递到完整任务。
本路线的测量与诊断方法覆盖计时、执行轨迹、对象驻留、归因和配对统计的方法。训练、推理、量化、通信与算子专题解释具体改动的机制;本路线把这些方法用于同一问题的基线、候选和组合比较。
学习路线
Part01入口用于按需回补相应的硬件、状态或执行概念,不要求先读完整个Part。首次学习先完成Task0–2的共同基础,再按目标选择Task3训练分支或Task4推理分支,随后进入Task5的单项复测;需要叠加策略时继续Task6。已有可靠基线和诊断时可直接进入对应分支。复测发现新的等待或峰值后,回到Task1补测、Task2重新归因。
连续跟踪一个问题时进入性能优化问题链;查找具体测量方法使用性能分析方法索引,按现象排查使用性能优化判断手册。
训练和推理分支都可能受计算、通信或I/O限制。计算、通信与I/O把事件依赖与重叠条件用于这些改动:先在Task1观察等待,再在Task2提出解释,最后在Task5确认暴露等待和完整任务时间是否一起下降。
下图按作用对象组织候选机制。量化、融合、重算、缓存和重叠分别改变计算、驻留或传输;选中候选后仍需测量完整工作负载,组合后再次检查共享资源与瓶颈。
扩展与跨专题入口
按当前缺少的机制或硬件知识回补。量化可用于训练或推理候选;通信与I/O按事件依赖参与分支比较,不要求先完成所有专题。
| 需要补充的机制 | 回补入口 | 回到性能优化时需要带回的证据 |
|---|---|---|
| 低精度表示与计算路径 | Part 01 · 01 数据类型与精度 → Part 01 · 12 Tensor Core 与混合精度 → Part 01 · 21 量化理论 | 表示字节、累加精度、计算内核与回退路径 |
| 量化候选与服务部署 | 量化与压缩;产物型候选按 Part 02 · 82 产物评估 → Part 02 · 67 推理部署 → Part 02 · 83 服务配置 验证 | 量化对象、独立质量结果、实际内核;固定负载收益与扩容收益分开记录,随后进入单候选和组合判断 |
| Attention 访存与推理工作量 | Part 01 · 04 Attention 显存优化 → Part 01 · 14 FlashAttention 显存模型 | Attention 中间状态、访存量和融合收益条件 |
| 计算内核、融合与片上存储 | Part 01 · 08 CUDA/Triton 编程模型 → Part 01 · 16 Warp、Block 与 Shared Memory → Part 01 · 19 算子融合 → Part 01 · 23 Tensor Core 深入 → Part 01 · 24 SRAM 优化 | 计算内核正确性、启动次数、访存量、占用率与片上复用 |
| 局部计算或访存瓶颈已经确认 | 算子优化 | 计算内核语义、图改写、微基准与模型工作负载复测 |
| 动态形状与编译图 | Part 01 · 09 AI 编译器与计算图优化 → Part 01 · 30 动态 Shape | 图捕获范围、重编译次数、形状分布和稳态收益 |
| 容错、检查点与恢复成本 | Part 01 · 28 容错与检查点 | 保存频率、恢复时间、写回背压与失败成本 |
| 激活值、梯度或优化器状态占用 | 反向传播与训练机制 | 状态生命周期、正确性、峰值与训练步时间 |
| 请求、量化、并行与输入数据 | 推理优化、量化与压缩、通信与并行、数据工程 | 请求分布、质量与容量、通信暴露、样本长度和输入吞吐 |
实验与项目出口
运行环境见实验 Quickstart,输入与结果见实验资产表,术语见专题术语表。
CPU 练习检查工作量计算、状态关系和候选选择规则;单卡实验按各页范围测量时间、峰值或执行事件;项目实验再检查目标工作负载下的质量、尾延迟、成本与回退条件。组合实验可以探索尚未达到收益目标的候选,但正确性、质量和资源安全必须先通过;最终采用仍需达到项目预设门槛。
| 证据阶段 | 要回答的问题 | 主要出口 |
|---|---|---|
| 基线与诊断 | 哪个问题能够复现,测量支持哪种主要限制? | 基线、时间线或驻留记录;用诊断记录方法整理判断、反例与待补测项 |
| 局部候选 | 候选是否改变目标对象,正确性与质量是否保持? | 各机制 Notebook 的 CPU / GPU 结果 |
| 单项复测 | 改动是否实际生效,并达到当前负载的性能与正确性要求? | 局部计算核对数值与实际调用,训练核对更新与质量,服务负载再检查尾延迟、失败与容量 |
| 组合复测 | 多项候选组合后是否出现收益抵消、瓶颈转移或新回归? | 固定工作负载下的基线、单项候选与组合候选配对结果 |
| 项目实践 | 当前负载支持接受、调优还是回退? | Part 02 · 74练习候选审核;Part 05 · 03独立生成负载、基线和组合记录,Part02结果可作背景参考 |
