Skip to content

算子优化(Operator Optimization) ​

专题类型:主学习路线 学习目标:定位算子瓶颈,在保持数值与行为要求的前提下选择编译、计算内核或运行时优化,并判断局部收益能否传递到目标工作负载。

矩阵乘法、归一化和Attention变慢,可能是计算量大、数据反复搬运,也可能是大量小任务的提交开销。以同输入的PyTorch实现为对照,结合执行轨迹判断瓶颈,再选择编译融合、内核分块或任务提交方式。

需要基本张量运算、矩阵乘法与PyTorch操作;可用Part 02 · 00 PyTorch热身回补。实验环境按Quickstart选择,原生CUDA分支另检查编译工具链。

连续跟踪一个问题时进入算子优化问题链,按现象排查使用判断手册,回查概念与计算条件使用术语表和公式索引。

融合关心中间结果如何被下一步直接使用:逐元素、归约和矩阵尾部融合主要减少中间数据的写回与再读取;通信—计算融合还需处理数据块就绪与消费,属于进阶方向。图编译与手写内核是形成候选的两种入口,最后都要核对输出、资源与完整耗时。

逐元素、归约、矩阵尾部融合与通信计算进阶方向

学习路线 ​

首次学习从向量加法进入,已经定位问题时可直接选择相应阶段。每个阶段先读主要正文理解要减少的工作,再进入Part小节核对或实现,最后返回正文解释代价与下一问题。

Task0先解释Program如何覆盖输入、用掩码保护尾块,并完成数值核对;计时为可选,选择计时时需说明测量范围并计算加速比。Task1比较编译前后的工作,Task2再按需要改写内核;配置搜索与性能归因在Task4展开。

Task / 主题本阶段要回答的问题学习入口与验证出口学习顺序主要正文入口
Task0 · 向量加法与耗时对照同一计算的输出和时间应怎样对照?核心:Part 03 · 01 向量加法,含可选计时
扩展:Part 04 · 01 CUDA向量加法
固定输入 → 覆盖与数值核对 → 可选计时与加速比01 优化对象与比较基线
Task1 · 图编译、融合与准备成本图能捕获和改写哪些计算,输入变化后能否复用实现?核心:Part 01 · 09 图编译 → Part 03 · 21 图捕获与版本复用 → Part 03 · 03 SwiGLU的Step1–3与Step5三路径记录09推导读写与调用 → 21观察捕获与复用 → 03比较三路径成本02 图编译、融合与执行候选
Task2 · 布局、逐元素融合与归约布局、融合与归约怎样改变访存成本?核心:Part 03 · 02 二维布局;按计算选择Part 03 · 03 SwiGLU、Part 03 · 04 RMSNorm或Part 03 · 07 Softmax;先读所选页Step1–3,再做Step4。SwiGLU承接Task1;Softmax先回顾RMSNorm归约
扩展:Part 03 · 22 两阶段归约、Part 03 · 08 Softmax反向、Part 03 · 10 RoPE、Part 04 · 02 合并访存、Part 04 · 03 Warp协作、Part 04 · 04 Bank冲突
二维布局 → 逐元素融合或行归约 → 数值与边界核对;多Program归约在行内归约之后03 计算内核语义与访存
Task3 · 矩阵分块与 Attention 计算怎样复用输入块,并避免保存完整注意力分数矩阵?核心:Part 03 · 05 GEMM与尾部融合 → Part 03 · 11 FlashAttention
扩展:解码读Part 03 · 12 变长GQA解码、Part 03 · 13 分页解码;量化与适配器读Part 03 · 14 权重量化、Part 03 · 15 Multi-LoRA、Part 03 · 16 KV量化;CUDA实现读Part 04 · 06 共享内存GEMM、Part 04 · 07 WMMA、Part 04 · 08 流水估算、Part 04 · 09 异步拷贝
输出分块与K维复用 → 尾部融合/在线状态合并 → 数值边界04 矩阵计算与推理状态的数据路径
Task4 · 编译产物、资源与配置调优配置改变后,为什么同一计算有时更快、有时更慢?核心:Part 03 · 09 自动调优 → Part 03 · 18 编译产物与执行;Part 04 · 05 资源与驻留
扩展:Part 03 · 06 持久化GEMM、Part 03 · 17 内存模型与调试
区分配置、准备与计时 → 核对产物和调用 → 比较资源与配对耗时05 测量归因与自动调优
Task5 · 传输、提交与显存生命周期传输、提交和缓冲寿命怎样影响等待与驻留?核心:Part 04 · 10 Stream与传输、Part 04 · 11 CUDA Graph重放、Part 04 · 12 显存管理
扩展:Part 04 · 13 通信原语、Part 04 · 14 Ring通信量、Part 04 · 15 通信重叠
定位等待或峰值 → 选择传输、重放或缓冲复用 → 核对依赖与生命周期06 传输、提交与显存生命周期
Task6 · 接口、组件与负载复测新实现接回组件后,完整调用是否改善?核心:Part 03 · 19 PyTorch算子接入;项目:Part 03 · 20 同权重Block
扩展:Part 04 · 18 实现选型、Part 04 · 16 ZeRO配置、Part 04 · 17 CPU/NVMe卸载、Part 04 · 19 TCO选型
核对接口与梯度 → 接回同权重组件 → 比较完整成本 → 保留、调整或回退07 集成、基准与采用判断

常用内核通过数值测试后可直接进入Task4;矩阵与注意力问题经过Task3。Task3的内核内装载与计算流水,和Task5的跨批主机传输与设备计算重叠,发生在不同层次。发现传输、提交等待或驻留问题时进入Task5,改动后返回Task4按新调用范围复测;资源竞争也可能改变原有配置的快慢。各分支最后回到Task6,比较包含适配与同步的完整调用。

Task1观察图改写与输入条件下的复用;Task4追踪图编译或手写内核生成的代码与实际调用;Task5的CUDA Graph复用设备操作的提交安排。

算子优化学习路线

按当前计算查知识地图,选择需要回补的原理、语义或运行时方法;融合前后的中间写回对照见算子优化问题链。

算子优化知识地图

扩展与跨专题入口 ​

PyTorch语义按对象回补:融合与归约参考Part 02 · 02 SwiGLU、Part 02 · 01 RMSNorm;在线注意力状态参考Part 02 · 20 FlashAttention模拟。

硬件原理按问题回补:精度与计算量看Part 01 · 1A,执行与内存层次看Part 01 · 1B;更换设备时,看Part 01 · 03 GPU架构与设备能力,区分架构、型号与计算能力。线程映射和协作看Part 01 · 15 CUDA执行模型、Part 01 · 16 Warp与共享内存、Part 01 · 18 Triton分块模型;瓶颈分析看Part 01 · 13 性能剖析。

进一步理解编译时,用Part 01 · 19 算子融合追踪中间值的使用者,用Part 01 · 30 动态形状理解版本适用条件与复用,用Part 01 · 32 编译阶段与目标计划理解中间表示与调度计划。多卡、分片与卸载可回看Part 04 · 4.4,硬件成本比较见Part 04 · 4.5。

问题涉及其他专题的机制或决策时,按下表进入相应路线。

遇到的问题优先入口算子优化的职责
不知道整体慢在哪里性能优化·测量与诊断方法在定位到局部计算或访存瓶颈后,选择具体实现改动
不确定Attention、MLP、MoE或记忆结构的语义模型架构演进在结构语义稳定后改变图、访存或计算内核
请求、KV或调度导致变慢推理优化针对关键路径上的Attention、RoPE、量化或模型组件做局部优化
多卡通信与扩展效率异常通信与并行处理已定位的本地计算或通信计算内核
低比特表示或质量异常量化与压缩将选定的量化表示落实为计算路径,策略与质量由量化专题评测
Agent多步任务耗时较长智能体基础设施先区分模型计算与工具等待;张量计算按Task2/3优化,组件收益在Task6核对,完整任务回原专题复测

实验与项目出口 ​

运行前查看实验资产表中的环境条件与已有结果,再按下表选择需要补充的检查。

量化、适配器与训练反向选择对应组件作比较;扩大到多层预填充负载时,可进入Part 05 · 05 独立综合项目,独立准备输入并复测。

证据阶段要回答的问题输出
正确性候选与参考实现在边界输入上是否语义一致?输入分布、形状、数据类型、误差和失败样本
执行身份与资源比较的是哪份代码、哪种配置和实际调用?特化条件、生成产物、调用记录;按问题读取编译资源或运行时查询
微基准与归因相同输入下,节省的工作是否转化为更短时间?准备成本、逐轮配对、形状分布;采集到的访存、资源或轨迹证据用于归因
工作负载复测局部收益能否传递到组件或两层解码器预填充?配对基线、输出误差、负载延迟、显存、环境和失败记录

Released under the MIT License.