Skip to content

Group 4.2: Tiled Compute and Data Reuse | 4.2: 分块计算与数据复用 ​

矩阵乘法可以把输入子块搬入片上反复使用,也可以沿K维安排加载与计算的轮换。本组先看共享内存GEMM与WMMA的两种计算组织,再区分主机传输的理想阶段模型和设备内的线程级异步拷贝;两类流水的搬运范围和同步方式不同。

Group Asset Overview | 组内资产总览 ​

页面核心问题实现与证据产物何时进入
06 共享内存GEMM线程怎样协作装载,并保护读取和覆盖?方阵、边缘、跨K累加与当前流数值核对理解块内子块复用
07 Tensor Core MMA输出子块、矩阵片段与K维累加怎样配合?CPU网格计划;GPU WMMA数值、对齐与当前流核对需要观察矩阵片段编程
08 异步预取与双缓冲首尾阶段与较慢阶段怎样限制流水时间?CPU串行/流水估算与槽位条件,不执行CUDA先分析主机传输与设备计算的理想安排
09 异步拷贝流水线内核中的拷贝、等待和缓冲轮换怎样保持正确?线程级CUDA缓冲、尾块与缩放数值核对需要实现设备内的数据准备

Learning Path | 学习路径 ​

  • 计算复用: 从06观察普通线程如何装载、计算和同步;需要矩阵片段时再读07。两页分别实现自己的输入与内核,不读取对方输出。
  • 流水与缓冲: 08用CPU模型解释填充、稳态、排空和槽位寿命;09把关注点转到内核里的拷贝与等待。可先理解模型再选择实现,但08不是09的计时结果,也不是同一代码的前一个版本。
  • WMMA数值正确不等于已经采集到实际矩阵指令或吞吐;异步拷贝接口可运行也不等于已测得搬运与计算重叠。相应性能问题需要单独测量。

Prerequisites | 按需前置 ​

Next Steps | 后续衔接 ​

  • 算子优化Task3可用06/07/09对照矩阵复用与设备内数据准备。
  • 需要实现08讨论的主机传输依赖时,进入10 Stream与传输;提交和显存问题按4.3选择。

Environment Notes | 环境说明 ​

运行目标环境入口条件
08及07的CPU计划基础环境不启动GPU或测量真实流水
06/07/09内核算子环境与工具链检查NVIDIA GPU、CUDA PyTorch、本机Toolkit与兼容主机编译器;按页面核对额外能力与输入条件

Released under the MIT License.