Skip to content

算子优化公式索引与符号约定 ​

本页汇总时间比较、分块寻址、注意力状态与资源约束中常用的公式。先确认比较对象、单位和成立条件,再沿入口阅读推导;公式中的构造例子不代表 GPU 实测。概念辨析见术语表,正式结果见实验资产表。每节的符号在该节内定义。

时间比较与准备成本 ​

Tb,Tc>0 是相同工作范围的基线、候选耗时;统计方法必须一致。 bi,ci 是第 i 轮配对的两个耗时, k 为有效配对数。时间可以用秒或毫秒,但同一公式内不能混用。

对象规范表达条件与解释推导入口
加速比S=Tb/Tc大于 1 表示候选更快;注明比较的是单次、均值或中位数01 加速比与降幅
耗时相对降幅d=1−Tc/Tb10 ms 降到 8 ms 时, S=1.25,耗时降幅为20%01 加速比与降幅
配对加速比si=bi/ci, s^=mediani=1,…,k(si)先按轮计算,再汇总;与两组耗时中位数之比分开报告05 多轮配对
至少持平的复用次数nbreak=⌈ΔC/(Tb−Tc)⌉ΔC>0 为新增一次性准备成本,且 Tb>Tc;等号只表示持平,稳态不更快时此式不适用05 准备成本

摊销模型比较的是“准备成本+ n 次相同调用”;重新编译、重新捕获或每次新增的布局适配需要按实际发生频率计入,不能当作永远只付一次的成本。

地址、逻辑访存与任务分配 ​

地址偏移以元素数为单位,换算成字节时再乘元素字节数。GEMM 的输出为 M×N,输出块大小为 BM×BN; T 表示输出 tile 总数, P 表示实际启动的 Program 数。

对象规范表达条件与解释推导入口
二维视图地址offset(i,j)=i⋅s0+j⋅s1s0,s1 为相对视图首元素的步长;不能用逻辑行宽代替任意视图步长03 坐标与地址
输出块总数T=⌈M/BM⌉⌈N/BN⌉M,N,BM,BN 为正整数;M/N 尾块仍需有效范围掩码Part 03 · 05 GEMM
循环任务编号tp,q=p+qP<T0≤p<P、 q≥0;按实际网格步进,合法 tile 归属余数唯一04 输出块分工
扁平编号到二维块r=⌊t/Ntile⌋, c=tmodNtileNtile=⌈N/BN⌉;除数是 tile 列数,不是矩阵元素列数Part 03 · 06 持久化 GEMM
激活后相乘的逻辑读写分离 5Eb,融合 3EbE 个元素,每元素 b 字节;中间值只有当前消费者、类型一致且省去独立写回。不是实测 HBM 流量02 中间张量读写

循环分工仍可由一次 kernel 启动完成;Program 数不是 CPU 启动次数,也不是 SM 数。每个新输出 tile 重新初始化累加器,同一个 tile 的 K 子块之间保留部分和。

注意力的块状态与头映射 ​

对一个查询, sj 是含缩放和掩码含义的分数, vj 是对应值向量。旧状态为行最大值 m、指数和 ℓ、未归一化的加权累积向量 a。下表的合并假定本块至少有一个有效键,求和只遍历有效位置;全空行与初始全空块需要单独处理,不能直接计算 −∞−(−∞)。

对象规范表达条件与解释推导入口
更新最大值与缩放m′=max(m,maxjsj), α=em−m′旧状态和本块使用同一减最大值基准04 跨块状态
更新指数和ℓ′=αℓ+∑jesj−m′旧指数和与新贡献一起累积04 跨块状态
更新加权累积量a′=αa+∑jesj−m′vj不能只缩放分母而遗漏分子04 跨块状态
形成输出o=a′/ℓ′ℓ′>0,对应整个有效键集合04 跨块状态
GQA 头映射G=Hq/Hkv, hkv=⌊hq/G⌋Hq 为 Query 头数, Hkv 为 KV 头数,前者为后者的整数倍;固定模型头结构, 0≤hq<Hq04 头与有效长度
分页位置p=⌊t/L⌋, u=tmodLt 为零起始逻辑词元位置, L>0 为页长;物理页还需通过块表查找04 分页与量化

量化缓存按实际存储计数: Bq=Bvalues+Bmetadata+Bpadding。三项分别为量化值、缩放/所用零点、额外布局填充占用的字节;与相同逻辑 K/V 的浮点存储比较,不能只报告值的位宽比例。

资源上界与搬运重叠 ​

资源公式描述给定配置的容量约束,时间公式描述理想调度。两者都需要核对假设,再与设备查询或执行测量比较。

对象规范表达条件与解释推导入口
共享内存约束BS=⌊SSM/Sblock⌋字节单位一致;每块实际分配量大于零,并已考虑静态、动态、预留与分配粒度。为零时该项不施加限制05 块资源
多资源驻留上界Bmodel=min(BT,BW,BS,BH,…)各项分别为线程、线程束、共享内存、硬件块数等限制;缺少精确寄存器分配时只是已建模上界Part 04 · 05 资源与驻留
预测占用率换算Opred=Bpred⌈t/W⌉/WSM,maxBpred 为合法配置的预测块数/SM, t 为线程/块, W 为线程束宽度, WSM,max 为设备每 SM 线程束上限;不是实测活跃率05 块资源
串行搬运与计算Tserial=n(h+g)n≥1 个独立等长批次,每批搬运 h、计算 g,使用同一时间单位06 搬运重叠
两阶段理想流水Tpipe=h+g+(n−1)max(h,g)搬运与计算各自串行、彼此可重叠;缓冲足够、依赖成立,忽略争用和额外提交成本06 搬运重叠

从局部改进估计整体收益 ​

f 是目标算子在原总耗时 T0>0 中的占比, s>0 是该算子的加速比。以下假定其余阶段耗时不变、原阶段可以按此范围相加,没有新的重叠变化。

对象规范表达条件与解释推导入口
无新增成本的整体加速比S=1/[(1−f)+f/s]0≤f≤1;例如 f=0.1,s=2 时,整体约 1.053 倍01 局部与整体
加入净新增适配成本Tnew=T0[(1−f)+f/s]+ΔTΔT 为同一范围中净新增且未在算子候选时间中计入的转换、调用或同步耗时,避免重复计算07 布局复制

理论估计用来判断量级,采用决定仍使用完整调用、组件与独立负载的实际复测。带宽上界、时间区间和回归区间的进一步计算见性能优化公式索引。

Released under the MIT License.