算子优化公式索引与符号约定
本页汇总时间比较、分块寻址、注意力状态与资源约束中常用的公式。先确认比较对象、单位和成立条件,再沿入口阅读推导;公式中的构造例子不代表 GPU 实测。概念辨析见术语表,正式结果见实验资产表。每节的符号在该节内定义。
时间比较与准备成本
| 对象 | 规范表达 | 条件与解释 | 推导入口 |
|---|---|---|---|
| 加速比 | 大于 1 表示候选更快;注明比较的是单次、均值或中位数 | 01 加速比与降幅 | |
| 耗时相对降幅 | 10 ms 降到 8 ms 时, | 01 加速比与降幅 | |
| 配对加速比 | 先按轮计算,再汇总;与两组耗时中位数之比分开报告 | 05 多轮配对 | |
| 至少持平的复用次数 | 05 准备成本 |
摊销模型比较的是“准备成本+
地址、逻辑访存与任务分配
地址偏移以元素数为单位,换算成字节时再乘元素字节数。GEMM 的输出为
| 对象 | 规范表达 | 条件与解释 | 推导入口 |
|---|---|---|---|
| 二维视图地址 | 03 坐标与地址 | ||
| 输出块总数 | Part 03 · 05 GEMM | ||
| 循环任务编号 | 04 输出块分工 | ||
| 扁平编号到二维块 | Part 03 · 06 持久化 GEMM | ||
| 激活后相乘的逻辑读写 | 分离 | 02 中间张量读写 |
循环分工仍可由一次 kernel 启动完成;Program 数不是 CPU 启动次数,也不是 SM 数。每个新输出 tile 重新初始化累加器,同一个 tile 的 K 子块之间保留部分和。
注意力的块状态与头映射
对一个查询,
| 对象 | 规范表达 | 条件与解释 | 推导入口 |
|---|---|---|---|
| 更新最大值与缩放 | 旧状态和本块使用同一减最大值基准 | 04 跨块状态 | |
| 更新指数和 | 旧指数和与新贡献一起累积 | 04 跨块状态 | |
| 更新加权累积量 | 不能只缩放分母而遗漏分子 | 04 跨块状态 | |
| 形成输出 | 04 跨块状态 | ||
| GQA 头映射 | 04 头与有效长度 | ||
| 分页位置 | 04 分页与量化 |
量化缓存按实际存储计数:
资源上界与搬运重叠
资源公式描述给定配置的容量约束,时间公式描述理想调度。两者都需要核对假设,再与设备查询或执行测量比较。
| 对象 | 规范表达 | 条件与解释 | 推导入口 |
|---|---|---|---|
| 共享内存约束 | 字节单位一致;每块实际分配量大于零,并已考虑静态、动态、预留与分配粒度。为零时该项不施加限制 | 05 块资源 | |
| 多资源驻留上界 | 各项分别为线程、线程束、共享内存、硬件块数等限制;缺少精确寄存器分配时只是已建模上界 | Part 04 · 05 资源与驻留 | |
| 预测占用率换算 | 05 块资源 | ||
| 串行搬运与计算 | 06 搬运重叠 | ||
| 两阶段理想流水 | 搬运与计算各自串行、彼此可重叠;缓冲足够、依赖成立,忽略争用和额外提交成本 | 06 搬运重叠 |
从局部改进估计整体收益
| 对象 | 规范表达 | 条件与解释 | 推导入口 |
|---|---|---|---|
| 无新增成本的整体加速比 | 01 局部与整体 | ||
| 加入净新增适配成本 | 07 布局复制 |
理论估计用来判断量级,采用决定仍使用完整调用、组件与独立负载的实际复测。带宽上界、时间区间和回归区间的进一步计算见性能优化公式索引。
