Part 03: Triton Kernel Development | 第三部分:Triton 算子开发
Part Overview | Part 概览
本部分承接 Part 02 的 PyTorch 算子与模型机制,聚焦 Triton 程序映射、kernel 实现、正确性和微基准;Part 04 再展开 CUDA C++、Runtime 与系统执行机制。这是学习内容的层次衔接,不表示每个工程优化都必须按 PyTorch、Triton、CUDA 依次重写。
Part Asset Overview | Part 资产总览
本章按五组组织:3.1提供程序与布局基础,3.2建立常用kernel和调优能力,3.3与3.4按Attention或低比特/适配器对象展开。3.5提供图捕获、调试、编译产物与集成入口,可以随当前问题提前进入,不是读完前四组之后才使用的最后阶段。各组的具体页面和组内顺序由对应组页维护。
| 学习组 | 职责作用 | 与其他组的关系 |
|---|---|---|
| 3.1 | 建立Program、索引、掩码与数据布局映射 | 3.2及后续内核分支的共同基础 |
| 3.2 | 用融合、行内与跨Program归约、矩阵计算和任务分配建立常用kernel能力 | 3.3、3.4的实现基础;22、持久化、反向与调优按问题进入 |
| 3.3 | 实现 Attention、变长序列与 KV 寻址相关 kernel | 面向 Attention 路径的专题分支 |
| 3.4 | 实现推理侧权重、适配器与 KV 状态计算路径 | 面向推理场景的专题分支,与 3.3 按目标选学 |
| 3.5 | 观察图捕获与复用,调试kernel,核对设备产物,再按需接入PyTorch或组件 | 可提前进入的编译观察与贯穿各组的排查、集成方法;各页独立运行 |
Learning Path | 学习路径
先用3.1建立索引、掩码与步长基础,再从3.2选择当前目标需要的计算结构。融合、行归约、矩阵乘法不是后续每条路线都必须完成的前置;持久化、反向与调优也按问题进入。3.3、3.4分别展开Attention与推理侧内核,3.5处理调试、编译和集成。
Recommended Order | 推荐顺序
- 起步:完成3.1,再从3.2选择逐元素融合、行归约或矩阵分块案例;想系统练习常用算子时,可按组页的基本案例顺序展开。
- 图编译入口:3.5中的21 图捕获与版本复用可提前用于观察CPU前端行为,再进入3.2的融合对照;追踪设备产物时使用同组18节。无需先完成全部GPU练习。
- Attention方向:已有行归约与矩阵分块基础后,进入3.3;需要反向、持久化或调优时再回到3.2相应分支,不把它们当作进入Attention的必修页。
- 推理kernel方向:按3.4选择权重、适配器或KV路径,再回补所需的矩阵累加、归约与量化表示。
- 调试与集成:实现基础kernel后,即可按问题进入3.5的调试、编译或PyTorch集成;组件练习已提供共享Attention实现,可以直接核对布局和调用,再按需回看3.3的算法。
- 完整学习:先完成基础与基本算子,再选择条件扩展、Attention和推理内核,最后做组件复测;这是推荐阅读顺序,不是文件执行依赖。
Next Steps | 后续衔接
- 进入 Part 04 前,按需要回看 3.2 的 kernel 与调优基础,以及 3.5 中与组件集成相关的内容;Part 04 的主目标是 CUDA/Runtime/系统机制,不是 Triton 课程的强制下一步。
Environment Notes | 环境说明
- 真实 kernel 执行: 需要 NVIDIA GPU、CUDA 可用的 PyTorch 与 Triton;创建和预检见算子优化实验 Quickstart。
- CPU练习: 21节独立观察真实FX图捕获与版本复用;其他页的CPU辅助逻辑按各页入口执行。CPU结果不代替GPU内核正确性或性能验证;GPU不可用时,目标kernel测试必须明确标记未运行。
