Group 4.2: Tiled Compute and Data Reuse | 4.2: 分块计算与数据复用
矩阵乘法可以把输入子块搬入片上反复使用,也可以沿K维安排加载与计算的轮换。本组先看共享内存GEMM与WMMA的两种计算组织,再区分主机传输的理想阶段模型和设备内的线程级异步拷贝;两类流水的搬运范围和同步方式不同。
Group Asset Overview | 组内资产总览
| 页面 | 核心问题 | 实现与证据产物 | 何时进入 |
|---|---|---|---|
| 06 共享内存GEMM | 线程怎样协作装载,并保护读取和覆盖? | 方阵、边缘、跨K累加与当前流数值核对 | 理解块内子块复用 |
| 07 Tensor Core MMA | 输出子块、矩阵片段与K维累加怎样配合? | CPU网格计划;GPU WMMA数值、对齐与当前流核对 | 需要观察矩阵片段编程 |
| 08 异步预取与双缓冲 | 首尾阶段与较慢阶段怎样限制流水时间? | CPU串行/流水估算与槽位条件,不执行CUDA | 先分析主机传输与设备计算的理想安排 |
| 09 异步拷贝流水线 | 内核中的拷贝、等待和缓冲轮换怎样保持正确? | 线程级CUDA缓冲、尾块与缩放数值核对 | 需要实现设备内的数据准备 |
Learning Path | 学习路径
Recommended Order | 推荐顺序
- 计算复用: 从06观察普通线程如何装载、计算和同步;需要矩阵片段时再读07。两页分别实现自己的输入与内核,不读取对方输出。
- 流水与缓冲: 08用CPU模型解释填充、稳态、排空和槽位寿命;09把关注点转到内核里的拷贝与等待。可先理解模型再选择实现,但08不是09的计时结果,也不是同一代码的前一个版本。
- WMMA数值正确不等于已经采集到实际矩阵指令或吞吐;异步拷贝接口可运行也不等于已测得搬运与计算重叠。相应性能问题需要单独测量。
Prerequisites | 按需前置
- Part01·16 块内共享复用:装载、消费和再次覆盖的协作条件。
- Part01·23 Tensor Core:选择07时补充矩阵计算路径。
- Part01·17 Stream与异步执行:选择08时区分提交和执行。
Next Steps | 后续衔接
- 算子优化Task3可用06/07/09对照矩阵复用与设备内数据准备。
- 需要实现08讨论的主机传输依赖时,进入10 Stream与传输;提交和显存问题按4.3选择。
Environment Notes | 环境说明
| 运行目标 | 环境入口 | 条件 |
|---|---|---|
| 08及07的CPU计划 | 基础环境 | 不启动GPU或测量真实流水 |
| 06/07/09内核 | 算子环境与工具链检查 | NVIDIA GPU、CUDA PyTorch、本机Toolkit与兼容主机编译器;按页面核对额外能力与输入条件 |
