Skip to content

算子优化专题术语表 ​

本表解释Part03/04的执行映射、数值、编译、运行时与测量中容易混淆的概念,按问题所在环节查阅即可。代码标识、API 和工具名称保留原文,普通叙述采用中文主称;全教程统一写法见术语表与中英文写作规范。

Program、线程和tile分别描述什么,编译与Graph重放改变了什么,首次调用与稳态又各计入哪些成本?可先查对应类别,再从学习入口回到具体例子。

执行映射与访存 ​

中文主称英文 / 缩写在本专题中的含义容易混淆的概念学习入口
计算内核kernel在加速器上执行一段并行计算的程序单元操作系统内核03 计算内核语义与访存
程序实例Program instanceTriton 网格中的一个逻辑执行实例,可以按算法负责一个或多个数据块单个线程;Program 编号不等于 SM 编号03 计算内核语义与访存
线程ThreadCUDA执行实例,有自己的索引和局部状态Triton Program或一个张量元素Part 04 · 01 线程索引
线程束与束内编号Warp / laneNVIDIA GPU的32线程执行组;lane是组内编号,活跃掩码决定哪些线程参与当前操作tile宽度或Program编号Part 04 · 02 线程地址
线程块与网格Block / CTA / Grid线程块组织可共享块内资源的线程;网格组织本次启动的线程块数据tile;Triton grid统计Program实例Part 04 · 01 执行层级
流式多处理器streaming multiprocessor / SMGPU内执行线程块并提供寄存器、共享内存等资源的硬件单元一张GPU;一个Program固定对应一个SMPart 04 · 05 资源与驻留
分块/数据块tiling / tile将计算或数据域分成工作块;tile 描述逻辑区域,实际资源分配由实现决定张量视图;逻辑 tile 不直接等于共享内存或线程块03 计算内核语义与访存
步长与偏移stride / offsetstride为维度索引加1时的存储间隔,offset为相对起点的位移;本题按元素计字节地址;视图起点已改变时再次加入存储偏移Part 03 · 02 地址计算
批量在首维的布局batch-first本页输入按批量、序列位置、特征排列;分头后再转换为批量、头、位置、每头特征每个张量永远采用相同维度顺序;只改shape而不核对特征对应Part 03 · 20 组件布局
掩码mask按位置决定是否参与访问或运算的条件;读取与写回分别受保护只给写回加保护就能避免越界读取Part 03 · 01 尾块边界
别名alias不同张量共享底层存储,修改重叠区域可能相互影响数值相等;独立分配的相同副本Part 03 · 19 算子契约
合并访存memory coalescing同一线程束的地址分布允许用较少内存事务服务访问缓存命中率;单条指令加载多个元素的向量化03 计算内核语义与访存
存储分组与扇区Bank / sectorBank是共享内存并行访问分组;sector在地址推导中是给定大小的覆盖单位把Bank冲突当全局内存事务;把sector计数当实测HBM流量Part 04 · 04 共享内存布局
片上复用on-chip reuse在寄存器或共享内存中复用已加载数据,减少全局显存访问主机内存缓存;Tensor Core 是计算单元03 计算内核语义与访存
寄存器与溢出register / spill寄存器保存线程局部状态;资源不足时部分值可能转存本地内存源码局部变量必定驻留寄存器;本地内存就是片上共享内存Part 04 · 05 多资源约束
可驻留线程块数resident blocks per SM给定内核和启动配置下,每个 SM 可同时驻留的最大块数;模型上界与 CUDA 查询分别记录运行期间实际活跃的块数;启动网格大小Part 04 · 05 资源与驻留
显式启用更大共享内存额度shared-memory opt-in在设备与函数允许范围内,显式请求高于默认限制的每块共享内存额度任意预留都能成功;本页资源实验已自动提高默认限制Part 04 · 05 默认资源限制
理论占用率theoretical occupancy预测可驻留线程束数相对设备每 SM 最大线程束数的比例,受具体函数和启动资源限制运行期采集值;吞吐或 GPU 总利用率05 资源与驻留
实测占用率achieved occupancy在指定采集窗口内观测的活跃线程束比例;注明工具、范围和聚合方式CUDA 容量查询;更高比例不保证更快05 资源与驻留
矩阵计算单元与接口Tensor Core / MMA / WMMATensor Core是硬件单元;MMA是矩阵乘加,WMMA是CUDA的Warp级矩阵操作接口接口可调用就已证明特定机器指令或速度Part 04 · 07 矩阵乘加

数值与计算状态 ​

中文主称英文 / 缩写在本专题中的含义容易混淆的概念学习入口
归约reduction沿指定维度将多个值合成较少结果,如一行求和或最大值;本教程主称归约逐元素运算;规约是同义译法,不另设机制Part 03 · 04 行内归约
广播broadcasting按兼容维度将共享值用于多个位置,不要求先物理复制集合通信广播;两者不是同一种操作Part 03 · 02 坐标广播
累加器accumulator保存跨轮次部分和的中间状态,直到当前结果完成每轮重置的临时乘积;输入数据类型Part 03 · 05 K维累加
跨Program归约multi-program reduction多个Program先写各自部分和,再由后续内核合并;各阶段分别处理有效范围与执行依赖只在一个Program内求和;普通写入同一输出自动完成累加Part03·22 两阶段归约
上游梯度upstream gradient后续损失对当前算子输出的导数g;反向将它与本算子的局部导数结合,得到输入梯度损失数值;输入梯度;所有位置固定为1Part03·19 前反向接入
前向保存状态saved tensors / context保留同一次前向中反向需要的量,例如缩放系数或Softmax输出概率;张量由save_for_backward保存默认保存全部输入;保存任意一轮输出都等价Part03·19 保存概率与反向调用
累加精度accumulation precision归约或矩阵乘加中保存中间累积结果的数据类型及其数值影响输入与输出的数据类型04 矩阵计算与推理状态
浮点格式与舍入FP16 / BF16 / FP32 / FP64; rounding格式决定可表示范围与精度;舍入在结果或类型转换时发生,中间舍入位置可能改变输出位宽相同就精度和范围相同;融合后应逐位一致Part 03 · 03 中间精度
绝对与相对容差atol / rtol逐元素允许误差不超过atol+rtol×参考值绝对值;运行前确定只比较最大相对误差;看到结果后放宽阈值Part 03 · 03 三路径数值要求

图编译与内核生成 ​

中文主称英文 / 缩写在本专题中的含义容易混淆的概念学习入口
即时执行eager execution按PyTorch操作调用执行本节参考表达式,不在外层使用图编译整个表达式只有一个设备kernel;参考表达式已是最快实现Part 03 · 03 三路径对照
图编译入口与后端torch.compile / Inductortorch.compile是用户入口;本节选择Inductor,生成或选择执行实现编译等于全部改写成手写Triton;fullgraph保证只有一个kernelPart 03 · 03 编译对照
图编译graph compilation获取计算依赖,进行语义保持的改写,并生成或选择具体执行路径CUDA Graph 捕获与重放02 图编译、融合与执行候选
图中断graph break无法继续捕获当前计算时,编译图在该处中断,形成分段执行整个函数都未编译,或必然发生数值错误02 图编译、融合与执行候选
编译版本适用条件检查guard复用前检查输入的形状、步长、类型等是否符合该版本要求掩码;条件不满足与图中断不是同一事件02 图编译、融合与执行候选
重编译recompilation当前输入无法复用适用编译版本时,可能重新捕获并生成版本;下层缓存仍可能命中一次适用条件不满足就必然全链重新生成;图中断Part01·30 版本复用
编译特化specialization根据形状、类型、编译期常量等条件生成具体实现;形状特化是其中一种一个版本覆盖所有输入;运行时参数必然触发新编译02 图编译、融合与执行候选
即时编译just-in-time compilation / JIT需要特定实现时生成或读取适用代码;准备过程可能命中缓存第一次Python调用必定是无缓存冷编译Part 03 · 18 编译准备
中间表示与目标代码IR / PTX / SASS / cubinIR表达编译阶段信息;PTX是虚拟指令表示,SASS是硬件机器指令表示,cubin是目标二进制PTX与最终机器指令相同;产物存在就已执行Part 03 · 18 产物层次
特化产物compiled specialization对应源码、签名和配置生成的中间表示、目标代码及相关元数据Python 函数名;产物存在不证明实际启动Part 03 · 18 编译产物核对
下沉lowering将较高层计算表示转换成更具体的操作或目标实现仅减少图节点,或已经证明加速02 图编译、融合与执行候选
算子融合operator fusion在语义允许时合并操作,争取减少中间写回与启动,同时改变资源占用图节点变少就必然更快02 图编译、融合与执行候选
矩阵尾部处理epilogue完整K维累加后、输出写回前施加偏置或激活;融合时仍需满足参考要求的中间舍入在每段K部分和上分别激活;省去写回等于省去舍入Part03·05 GEMM与尾部融合
持久化任务分配persistent scheduling本专题用有限 Program 循环处理多个输出块,检查覆盖和每块状态减少 CPU 启动次数;Program 少不保证更快Part 03 · 06 持久化 GEMM
自动调优autotuning在固定语义和输入分布下搜索分块、线程束或流水阶段配置不受约束地尝试任意代码05 测量归因与自动调优
回退路径fallback path目标后端或计算内核不满足条件时实际采用的替代执行路径正常命中目标路径02 图编译、融合与执行候选

注意力与量化数据 ​

中文主称英文 / 缩写在本专题中的含义容易混淆的概念学习入口
在线 Softmax 状态online softmax state沿 K/V 块保留逐行最大值、指数和及输出累积量,并随最大值变化重新缩放旧贡献在线训练;只计算当前块的 Softmax04 Attention 与推理状态
分组查询注意力grouped-query attention / GQA多个 Query 头共享一个 KV 头,每个 Query 头仍分别计算输出把 Query 头输出也合并为一个头04 Attention 与推理状态
变长掩码variable-length mask按请求真实有效长度排除补齐位置,在 Softmax 归一化前约束参与位置归一化后只屏蔽输出04 Attention 与推理状态
分页 KV 寻址paged KV addressing经块表把逻辑 Token 位置映射到物理页及页内偏移KV 量化;分页本身保持存储数值04 Attention 与推理状态
KV 缓存量化KV cache quantization用低比特值及缩放信息表示上下文 K/V,读取时恢复参与注意力计算模型权重量化;两者处理不同存活周期的数据04 Attention 与推理状态

运行时、通信与状态驻留 ​

中文主称英文 / 缩写在本专题中的含义容易混淆的概念学习入口
执行流与事件Stream / EventStream 组织操作提交顺序,Event 可用于标记完成并建立跨流等待创建多个流就已经实现搬运与计算重叠06 传输、提交与显存生命周期
CUDA GraphCUDA Graph捕获满足条件的一组 GPU 操作并重放,主要减少重复主机提交开销图编译、算子融合或内核内部复用06 传输、提交与显存生命周期
锁页内存pinned memory不能被操作系统换出的主机页,为异步主机—设备传输提供源缓冲条件GPU显存;设置non_blocking就保证搬运计算重叠Part 04 · 10 双缓冲传输
已分配与预留显存allocated / reserved memory前者统计活跃张量持有的分配,后者还包含缓存分配器管理的空闲块设备总占用;两数差值就是泄漏Part 04 · 12 显存观察
进程编号与组规模rank / world sizerank是组内进程编号,world size是参与进程数GPU编号;一个rank必然对应一张独立GPUPart 04 · 13 参与者
Gloo通信后端Gloo提供集合通信实现,在PyTorch中可作为通信后端选择;本页用它在多个进程间通信CPU张量CPU设备类型;只在纸面模拟集合通信Part 04 · 13 后端与张量设备
NVIDIA集合通信库NVIDIA Collective Communications Library / NCCL为NVIDIA GPU提供集合通信等实现,PyTorch可选用其后端通信CUDA张量所有后端都使用固定Ring算法;CPU上的Gloo结果就是GPU性能Part01·20 NCCL与AllReduce
进程启动方式spawn / forkspawn启动新解释器并导入工作函数;fork继承父进程状态,需考虑已有线程与设备状态通信后端;Jupyter中的内存函数一定能由新解释器导入Part 04 · 13 运行环境
全归约与全收集All-Reduce / All-Gather前者合并各rank对应值并分发结果,后者保留各rank输入及来源顺序本地维度归约;集合语义已经规定Ring算法Part 04 · 13 集合语义
状态分片与卸载ZeRO / offloadZeRO决定参数、梯度与优化器状态的分片;卸载另决定驻留位置及相应搬运分片自动等于CPU卸载;配置合法等于真实训练通过Part 04 · 16 状态配置
非易失存储访问协议Non-Volatile Memory Express / NVMe定义主机与非易失存储的通信方式;本页NVMe卸载把状态放到采用该协议的持久存储上一种计算设备或主机内存;把整条存储到GPU路径视为一次显存拷贝Part 04 · 17 卸载路径

比较与测量 ​

中文主称英文 / 缩写在本专题中的含义容易混淆的概念学习入口
参考实现reference implementation用于计算预期输出、检查语义的可读实现;容差由比较协议预先确定被优化的候选实现;性能基线03 计算内核语义与访存
性能基线performance baseline在固定输入、后端与测量范围下实际运行的比较路径可读教学参考;二者可能采用不同执行方式01 优化对象与比较基线
启动开销launch overhead主机提交和运行时安排计算内核所产生的成本,随调用方式与环境变化设备内核自身的计算时间01 优化对象与比较基线
首次调用完成时间first-call completion time同步边界内完成一次调用的时间,可包含编译、缓存读取、分配和首次执行纯编译时间;未清空缓存却称冷启动Part 03 · 03 准备与稳态
稳态计时steady-state timing完成编译、配置搜索与预热后,在明确同步边界内采集重复运行样本包含首次编译的冷启动时间05 测量归因与自动调优
完成时间与设备时间completion time / device time主机墙钟加同步覆盖调用与完成等待;设备事件时间覆盖选定设备窗口两者可直接互换;用完整调用差值断言kernel更快Part 03 · 03 计时窗口
配对加速比paired speedup每轮先算基线耗时除以候选耗时,再按指定方法汇总两组耗时中位数之比;候选/基线是相反方向05 测量归因与自动调优
准备成本摊销setup-cost amortization后续调用节省的时间逐渐抵消新增编译、搜索或捕获成本稳态更快就一定适合一次性任务05 准备成本
实际执行核对execution-path verification将调用输入、编译配置及产物与实际启动或设备活动记录对应配置开关已打开、产物存在或仅有数值一致07 集成、基准与采用判断
微基准microbenchmark在固定输入下隔离测量单个计算内核或局部组合模型端到端结果07 集成、基准与采用判断
端到端复测end-to-end validation将候选放入明确定义的完整组件或负载,重新检查数值、执行路径、时间与资源门槛局部加速自动传递到完整模型或在线服务07 集成、基准与采用判断
采用门槛adoption criteria对目标负载预先确定的数值、路径、资源和收益要求,用于决定采用、调整或拒绝候选实验成功运行,或每项有效实验都必须更快07 集成、基准与采用判断

Released under the MIT License.