Group 3.2: Common Kernels and Tuning | 3.2: 常用算子与调优
本组分为基本算子与条件扩展:SwiGLU、RMSNorm、GEMM和Softmax展示逐元素融合、行归约与矩阵分块;需要跨Program汇总时进入22,需要梯度、任务循环或配置选择时分别进入08、06、09。进入Attention前,按当前基础回补矩阵分块与行归约即可。
Group Asset Overview | 组内资产总览
| 页面 | 核心问题 | 实现与证据产物 | 在本组中的作用 |
|---|---|---|---|
| 03 SwiGLU | 门控激活的逐元素计算怎样融合? | 输出与 PyTorch 参考一致,覆盖尾块 | 前向 kernel 示例 |
| 04 RMSNorm | 行内归约怎样形成归一化输出? | 多种形状下的数值误差核对 | 前向 kernel 示例 |
| 05 GEMM | 二维 tile 与 K 维累加如何组织矩阵乘法? | 非方阵/尾块正确性与固定形状微基准 | 矩阵 kernel 示例 |
| 持久化 GEMM 与任务分配 | 有限 Program 怎样覆盖多个输出块,何时值得改变任务数量? | CPU 计划、GPU 实际访问与归属、同二进制配对 | GEMM 任务分配分支 |
| 07 Softmax | 行内最大值与指数和怎样保证稳定归一化? | 不同形状和边界下对照 PyTorch | 前向 kernel 示例 |
| 08 Softmax 反向 | 上游梯度怎样映射为 Softmax 输入梯度? | 与 PyTorch autograd 的梯度对照 | 梯度分支 |
| 09 自动调优与基准测量 | 如何限定配置候选并进行可比计时? | 正确性通过后的候选配置与多输入长度耗时比较 | 可独立进入的方法页 |
| 22 两阶段归约 | 多个Program的部分和怎样汇成一个结果? | 部分和、最终标量、槽位边界与当前流依赖的核对代码 | 跨Program归约分支,GPU验证待运行 |
Learning Path | 学习路径
Recommended Order | 推荐顺序
- 基本算子: 系统练习时按03 SwiGLU → 04 RMSNorm → 05 GEMM → 07 Softmax展开计算结构;按目标进入时,只补当前缺少的融合、归约或矩阵分块知识。
- 梯度分支: 需要理解 Softmax 反向时,从 07 进入 08。
- 跨Program归约: 理解04的行内归约后,进入22,将输入分段,写出独占部分和,再由下一阶段合并;它与08的梯度公式、06的任务循环分别解决不同问题。
- GEMM 任务分配: 完成 05 后,可进入持久化 GEMM,检查一个 Program 多轮处理 tile 的覆盖和状态;该页不要求先完成 TMA 或 Warp 专业化。
- 调优与测量: 完成任一代表性 kernel 的正确性实现后即可进入 09 学习候选搜索与基准测量;不需要先读完所有算子。
Next Steps | 后续衔接
Environment Notes | 环境说明
| 运行目标 | 环境与证据边界 |
|---|---|
| 03–09、22 正确性 | 需要 NVIDIA GPU、CUDA 可用的 PyTorch 与 Triton;环境创建和预检见算子优化实验 Quickstart |
| 05、09短微基准;06独立Step5 | 需要目标GPU实际测量;06按页内配置读取已有记录或显式复测,使用统一Graph承载计时。正确性与CPU计划分别核对 |
