Group 3.5: Debugging, Compilation and Integration | 3.5: 调试、编译与集成
本组按问题提供三类入口:21观察PyTorch图捕获与版本复用,18核对Triton源码、特化产物与真实CUDA调用,17定位步长和尾块错误。需要接入PyTorch时进入19,检查前向、梯度与编译;需要判断局部替换能否保留到组件时进入20。21是可提前学习的独立CPU页,其他页面按各自的内核与框架基础进入,不构成从21到20的必经顺序。
Group Asset Overview | 组内资产总览
| 页面 | 核心问题 | 实现与证据产物 | 在本组中的作用 |
|---|---|---|---|
| 21 图捕获与版本复用 | 输入变化后能否复用,主动边界怎样切开计算图? | 真实FX图、后端回调、图执行计数与CPU数值对照 | 可提前进入的编译前端观察 |
| 17 内存模型与调试 | 如何区分步长换算与尾块填值错误? | 不同输入/输出布局、存储间隙及逐块点积核对 | 调试基础 |
| 18 编译产物与实际执行核对 | 同一源码生成哪份特化代码,本次实际启动了哪份? | 数值、产物摘要、对象启动记录、导出文件与 CUDA 入口核对 | 编译与执行身份核对 |
| 19 PyTorch 算子集成 | 缩放与Softmax怎样保存前向状态并传回梯度? | 输出、保存与委派、一阶梯度及fullgraph核对代码 | 从缩放到行归约的框架接入 |
| 20 LLaMA风格Block集成 | 拆头、因果Attention和合头怎样保留组件含义,替换是否影响完整调用? | 分段数值与目标路径核对;独立Step5配置、配对保存和读取 | 模型组件集成路线 |
Learning Path | 学习路径
Recommended Order | 推荐顺序
- 图捕获入口: 从21观察输入条件变化、版本复用与图中断;它依赖Part01的计算图概念,不要求先运行本Part其他页。需要继续追踪设备实现时,再回补Triton基础并进入18;两者不是同一个函数的上下游编译实验。
- 编译与执行: 完成基础 kernel 后,从 09 的编译/搜索/稳态区分 进入编译产物核对。该页独立构造输入,不要求先完成 Attention 或模型组件项目。
- PyTorch 算子集成: 在19先以缩放理解保存系数与链式法则,再接入07/08中的Softmax前反向,检查保存概率、上游梯度布局及整图调用;遇到索引/掩码问题时按17定位。
- 模型组件集成: 20 Block集成提供共享Attention实现,练习布局适配、因果调用与分段核对;无需先运行11。独立Step5默认显示计划,新协议尚未登记实测;已有证据范围见实验资产表。修改Attention算法时再回看3.3。
- 故障查找: 地址、步长与尾块填值问题见17;并发写入的排查说明可作进一步阅读,不等于本页已有竞态工具验证。结果正确但耗时异常时,先按09核对输入、预热和计时范围。
Next Steps | 后续衔接
Environment Notes | 环境说明
| 运行目标 | 环境与证据边界 |
|---|---|
| 21图捕获与版本复用 | 带PyTorch的CPU执行入口,可复用现有算子环境;见图捕获CPU入口,不调用Triton内核 |
| 17、19、20 运行级核对 | 目标 Triton kernel 需要 NVIDIA GPU、CUDA 可用的 PyTorch 与 Triton;环境创建和预检见算子优化实验 Quickstart |
| 编译产物与实际执行核对 | 复用同一环境;额外需要 profiler 能采集 CUDA 活动。只有 CPU 标记或编译结果时,不能登记为设备路径通过;不要求 Nsight 硬件计数器 |
