算子优化(Operator Optimization)
专题类型:主学习路线 学习目标:定位算子瓶颈,在保持数值与行为要求的前提下选择编译、计算内核或运行时优化,并判断局部收益能否传递到目标工作负载。
矩阵乘法、归一化和Attention变慢,可能是计算量大、数据反复搬运,也可能是大量小任务的提交开销。以同输入的PyTorch实现为对照,结合执行轨迹判断瓶颈,再选择编译融合、内核分块或任务提交方式。
需要基本张量运算、矩阵乘法与PyTorch操作;可用Part 02 · 00 PyTorch热身回补。实验环境按Quickstart选择,原生CUDA分支另检查编译工具链。
连续跟踪一个问题时进入算子优化问题链,按现象排查使用判断手册,回查概念与计算条件使用术语表和公式索引。
融合关心中间结果如何被下一步直接使用:逐元素、归约和矩阵尾部融合主要减少中间数据的写回与再读取;通信—计算融合还需处理数据块就绪与消费,属于进阶方向。图编译与手写内核是形成候选的两种入口,最后都要核对输出、资源与完整耗时。
学习路线
首次学习从向量加法进入,已经定位问题时可直接选择相应阶段。每个阶段先读主要正文理解要减少的工作,再进入Part小节核对或实现,最后返回正文解释代价与下一问题。
Task0先解释Program如何覆盖输入、用掩码保护尾块,并完成数值核对;计时为可选,选择计时时需说明测量范围并计算加速比。Task1比较编译前后的工作,Task2再按需要改写内核;配置搜索与性能归因在Task4展开。
常用内核通过数值测试后可直接进入Task4;矩阵与注意力问题经过Task3。Task3的内核内装载与计算流水,和Task5的跨批主机传输与设备计算重叠,发生在不同层次。发现传输、提交等待或驻留问题时进入Task5,改动后返回Task4按新调用范围复测;资源竞争也可能改变原有配置的快慢。各分支最后回到Task6,比较包含适配与同步的完整调用。
Task1观察图改写与输入条件下的复用;Task4追踪图编译或手写内核生成的代码与实际调用;Task5的CUDA Graph复用设备操作的提交安排。
按当前计算查知识地图,选择需要回补的原理、语义或运行时方法;融合前后的中间写回对照见算子优化问题链。
扩展与跨专题入口
PyTorch语义按对象回补:融合与归约参考Part 02 · 02 SwiGLU、Part 02 · 01 RMSNorm;在线注意力状态参考Part 02 · 20 FlashAttention模拟。
硬件原理按问题回补:精度与计算量看Part 01 · 1A,执行与内存层次看Part 01 · 1B;更换设备时,看Part 01 · 03 GPU架构与设备能力,区分架构、型号与计算能力。线程映射和协作看Part 01 · 15 CUDA执行模型、Part 01 · 16 Warp与共享内存、Part 01 · 18 Triton分块模型;瓶颈分析看Part 01 · 13 性能剖析。
进一步理解编译时,用Part 01 · 19 算子融合追踪中间值的使用者,用Part 01 · 30 动态形状理解版本适用条件与复用,用Part 01 · 32 编译阶段与目标计划理解中间表示与调度计划。多卡、分片与卸载可回看Part 04 · 4.4,硬件成本比较见Part 04 · 4.5。
问题涉及其他专题的机制或决策时,按下表进入相应路线。
| 遇到的问题 | 优先入口 | 算子优化的职责 |
|---|---|---|
| 不知道整体慢在哪里 | 性能优化·测量与诊断方法 | 在定位到局部计算或访存瓶颈后,选择具体实现改动 |
| 不确定Attention、MLP、MoE或记忆结构的语义 | 模型架构演进 | 在结构语义稳定后改变图、访存或计算内核 |
| 请求、KV或调度导致变慢 | 推理优化 | 针对关键路径上的Attention、RoPE、量化或模型组件做局部优化 |
| 多卡通信与扩展效率异常 | 通信与并行 | 处理已定位的本地计算或通信计算内核 |
| 低比特表示或质量异常 | 量化与压缩 | 将选定的量化表示落实为计算路径,策略与质量由量化专题评测 |
| Agent多步任务耗时较长 | 智能体基础设施 | 先区分模型计算与工具等待;张量计算按Task2/3优化,组件收益在Task6核对,完整任务回原专题复测 |
实验与项目出口
运行前查看实验资产表中的环境条件与已有结果,再按下表选择需要补充的检查。
量化、适配器与训练反向选择对应组件作比较;扩大到多层预填充负载时,可进入Part 05 · 05 独立综合项目,独立准备输入并复测。
| 证据阶段 | 要回答的问题 | 输出 |
|---|---|---|
| 正确性 | 候选与参考实现在边界输入上是否语义一致? | 输入分布、形状、数据类型、误差和失败样本 |
| 执行身份与资源 | 比较的是哪份代码、哪种配置和实际调用? | 特化条件、生成产物、调用记录;按问题读取编译资源或运行时查询 |
| 微基准与归因 | 相同输入下,节省的工作是否转化为更短时间? | 准备成本、逐轮配对、形状分布;采集到的访存、资源或轨迹证据用于归因 |
| 工作负载复测 | 局部收益能否传递到组件或两层解码器预填充? | 配对基线、输出误差、负载延迟、显存、环境和失败记录 |
