Skip to content

Part 03: Triton Kernel Development | 第三部分:Triton 算子开发 ​

Part Overview | Part 概览 ​

本部分承接 Part 02 的 PyTorch 算子与模型机制,聚焦 Triton 程序映射、kernel 实现、正确性和微基准;Part 04 再展开 CUDA C++、Runtime 与系统执行机制。这是学习内容的层次衔接,不表示每个工程优化都必须按 PyTorch、Triton、CUDA 依次重写。

Part Asset Overview | Part 资产总览 ​

本章按五组组织:3.1提供程序与布局基础,3.2建立常用kernel和调优能力,3.3与3.4按Attention或低比特/适配器对象展开。3.5提供图捕获、调试、编译产物与集成入口,可以随当前问题提前进入,不是读完前四组之后才使用的最后阶段。各组的具体页面和组内顺序由对应组页维护。

学习组职责作用与其他组的关系
3.1建立Program、索引、掩码与数据布局映射3.2及后续内核分支的共同基础
3.2用融合、行内与跨Program归约、矩阵计算和任务分配建立常用kernel能力3.3、3.4的实现基础;22、持久化、反向与调优按问题进入
3.3实现 Attention、变长序列与 KV 寻址相关 kernel面向 Attention 路径的专题分支
3.4实现推理侧权重、适配器与 KV 状态计算路径面向推理场景的专题分支,与 3.3 按目标选学
3.5观察图捕获与复用,调试kernel,核对设备产物,再按需接入PyTorch或组件可提前进入的编译观察与贯穿各组的排查、集成方法;各页独立运行

Learning Path | 学习路径 ​

先用3.1建立索引、掩码与步长基础,再从3.2选择当前目标需要的计算结构。融合、行归约、矩阵乘法不是后续每条路线都必须完成的前置;持久化、反向与调优也按问题进入。3.3、3.4分别展开Attention与推理侧内核,3.5处理调试、编译和集成。

  • 起步:完成3.1,再从3.2选择逐元素融合、行归约或矩阵分块案例;想系统练习常用算子时,可按组页的基本案例顺序展开。
  • 图编译入口:3.5中的21 图捕获与版本复用可提前用于观察CPU前端行为,再进入3.2的融合对照;追踪设备产物时使用同组18节。无需先完成全部GPU练习。
  • Attention方向:已有行归约与矩阵分块基础后,进入3.3;需要反向、持久化或调优时再回到3.2相应分支,不把它们当作进入Attention的必修页。
  • 推理kernel方向:按3.4选择权重、适配器或KV路径,再回补所需的矩阵累加、归约与量化表示。
  • 调试与集成:实现基础kernel后,即可按问题进入3.5的调试、编译或PyTorch集成;组件练习已提供共享Attention实现,可以直接核对布局和调用,再按需回看3.3的算法。
  • 完整学习:先完成基础与基本算子,再选择条件扩展、Attention和推理内核,最后做组件复测;这是推荐阅读顺序,不是文件执行依赖。

Next Steps | 后续衔接 ​

  • 进入 Part 04 前,按需要回看 3.2 的 kernel 与调优基础,以及 3.5 中与组件集成相关的内容;Part 04 的主目标是 CUDA/Runtime/系统机制,不是 Triton 课程的强制下一步。

Environment Notes | 环境说明 ​

  • 真实 kernel 执行: 需要 NVIDIA GPU、CUDA 可用的 PyTorch 与 Triton;创建和预检见算子优化实验 Quickstart。
  • CPU练习: 21节独立观察真实FX图捕获与版本复用;其他页的CPU辅助逻辑按各页入口执行。CPU结果不代替GPU内核正确性或性能验证;GPU不可用时,目标kernel测试必须明确标记未运行。

Released under the MIT License.