Skip to content

Group 3.2: Common Kernels and Tuning | 3.2: 常用算子与调优 ​

本组分为基本算子与条件扩展:SwiGLU、RMSNorm、GEMM和Softmax展示逐元素融合、行归约与矩阵分块;需要跨Program汇总时进入22,需要梯度、任务循环或配置选择时分别进入08、06、09。进入Attention前,按当前基础回补矩阵分块与行归约即可。

3.2 按计算结构选择 kernel 示例,再按需进入调优

Group Asset Overview | 组内资产总览 ​

页面核心问题实现与证据产物在本组中的作用
03 SwiGLU门控激活的逐元素计算怎样融合?输出与 PyTorch 参考一致,覆盖尾块前向 kernel 示例
04 RMSNorm行内归约怎样形成归一化输出?多种形状下的数值误差核对前向 kernel 示例
05 GEMM二维 tile 与 K 维累加如何组织矩阵乘法?非方阵/尾块正确性与固定形状微基准矩阵 kernel 示例
持久化 GEMM 与任务分配有限 Program 怎样覆盖多个输出块,何时值得改变任务数量?CPU 计划、GPU 实际访问与归属、同二进制配对GEMM 任务分配分支
07 Softmax行内最大值与指数和怎样保证稳定归一化?不同形状和边界下对照 PyTorch前向 kernel 示例
08 Softmax 反向上游梯度怎样映射为 Softmax 输入梯度?与 PyTorch autograd 的梯度对照梯度分支
09 自动调优与基准测量如何限定配置候选并进行可比计时?正确性通过后的候选配置与多输入长度耗时比较可独立进入的方法页
22 两阶段归约多个Program的部分和怎样汇成一个结果?部分和、最终标量、槽位边界与当前流依赖的核对代码跨Program归约分支,GPU验证待运行

Learning Path | 学习路径 ​

  • 基本算子: 系统练习时按03 SwiGLU → 04 RMSNorm → 05 GEMM → 07 Softmax展开计算结构;按目标进入时,只补当前缺少的融合、归约或矩阵分块知识。
  • 梯度分支: 需要理解 Softmax 反向时,从 07 进入 08。
  • 跨Program归约: 理解04的行内归约后,进入22,将输入分段,写出独占部分和,再由下一阶段合并;它与08的梯度公式、06的任务循环分别解决不同问题。
  • GEMM 任务分配: 完成 05 后,可进入持久化 GEMM,检查一个 Program 多轮处理 tile 的覆盖和状态;该页不要求先完成 TMA 或 Warp 专业化。
  • 调优与测量: 完成任一代表性 kernel 的正确性实现后即可进入 09 学习候选搜索与基准测量;不需要先读完所有算子。

Next Steps | 后续衔接 ​

  • 需要实现 Attention kernel 时进入 3.3;推理侧权重、适配器或 KV 状态计算可按需进入 3.4。

Environment Notes | 环境说明 ​

运行目标环境与证据边界
03–09、22 正确性需要 NVIDIA GPU、CUDA 可用的 PyTorch 与 Triton;环境创建和预检见算子优化实验 Quickstart
05、09短微基准;06独立Step5需要目标GPU实际测量;06按页内配置读取已有记录或显式复测,使用统一Graph承载计时。正确性与CPU计划分别核对

Released under the MIT License.