Skip to content

Group 4.1: CUDA Execution, Memory Access and Resources | 4.1: CUDA 执行、访存与资源 ​

同一批元素可以映射到不同线程地址,正确结果却不说明访问和资源安排同样有效。本组先用CUDA向量加法建立索引,再分别检查全局地址、Warp归约、共享内存Bank映射,以及每块资源对驻留的限制;其中Warp归约和Bank练习使用CPU模型,真实线程协作在后续内核中核对。

从索引按需进入访存、协作与资源分析

Group Asset Overview | 组内资产总览 ​

页面核心问题实现与证据产物何时进入
01 CUDA向量加法线程索引怎样覆盖有效输出?CUDA编译、向量数值、尾块及当前流核对初次编写CUDA内核
02 全局内存合并访问连续、偏移和跨步地址怎样覆盖sector?给定地址模型;连续拷贝与尾部数值核对,不采集事务计数需要解释全局访问方式
03 Warp原语Warp局部和怎样合成块级结果?CPU逐轮lane状态、部分Warp与两级汇总;不执行设备Shuffle需要理解归约与协作范围
04 Bank冲突行跨度与字地址怎样区分广播及不同字请求?CPU地址、Bank内字/lane分组与填充模型;不测硬件冲突计数需要分析共享内存布局
05 资源与驻留同一内核的资源预留怎样限制驻留?CPU上界、CUDA查询、数值与独立计时需要区分容量预测和实际速度

Learning Path | 学习路径 ​

  • 先读01,再按问题选择02的全局地址或03的归约协作;两条路径没有相互调用关系。
  • 分析共享内存地址时进入04,再到4.2观察真实分块复用。分析每块资源时,可在理解线程块和共享内存后直接进入05,不必先完成矩阵计算。
  • 03/04的模型解释算法和地址条件;设备指令、同步和性能分别由相应实现与测量核对,不从CPU结果推断。

Prerequisites | 按需前置 ​

Next Steps | 后续衔接 ​

Environment Notes | 环境说明 ​

运行目标环境入口条件
03/04及05的CPU推导基础环境不需要GPU或CUDA编译器
01/02/05的CUDA部分算子环境与工具链检查NVIDIA GPU、CUDA PyTorch、本机Toolkit与主机编译器;PyTorch能用不代表工具链齐备

Released under the MIT License.