Skip to content

算子优化判断手册 ​

按现象选择检查项,再用对照结果缩小原因范围。数值错误保留失败输入和参考输出;耗时异常保留形状、布局、精度、设备、后端及重复计时样本。链接中的练习解释相应机制,实际故障要结合当前调用的输入与执行记录定位。

现象或目标先检查什么最小证据机制入口验证或转交入口
输出形状正确但数值误差超限先定位首个明显偏差,再检查该处的累加类型与掩码失败输入、参考输出、最大误差与对应索引03 语义与访存寻址与边界练习:Part 03 · 17 内存调试
非整除长度时越界或遗漏元素对照最后一个程序负责的索引,检查加载和写回是否都受掩码保护整除与非整除长度的输出、尾块有效索引03 语义与访存Part 03 · 01 向量加法
内核正确但慢于性能基线先确认计时是否包含相同工作,再比较分块配置同输入、同计时范围的多轮耗时05 测量与调优基准练习:Part 03 · 09 自动调优
循环分工时首个输出块正确,后续块错误检查每个新 tile 是否重置累加器,编号是否映射到正确块行、块列非方阵、多轮任务的逐块参考误差04 输出块分工状态与边界练习:Part 03 · 06 持久化 GEMM
有限 Program 出现任务遗漏或重复对照实际访问计数、归属与步进;不只检查 CPU 计划每个 tile 的设备写入计数和归属 Program04 输出块分工覆盖核对:Part 03 · 06 持久化 GEMM
有限 Program 结果正确但更慢先确认两条实际网格是否不同,再比较同配置下的并行任务数与多轮耗时实际网格、tile 数、编译身份和逐轮耗时05 执行身份同二进制网格对照:Part 03 · 06 持久化 GEMM
融合后反而更慢对照完整调用与内核耗时;检查是否新增转换,或内核本身退化配对耗时、调用轨迹;内核退化时再查寄存器与访存记录02 图编译与融合原理与对照:Part 01 · 19 算子融合
换编译后端后,原先较快的候选变慢核对实际库/内核与布局转换,再比较相同范围的完整调用两后端的版本、输入、实际路径、准备成本和重复耗时05 后端与候选排序在目标后端复测候选;组件对照方法见07 完整调用
编译后首次运行慢,后续较快把首次编译、配置搜索与预热后的计算分开计时首次调用耗时、编译记录与重复执行耗时05 测量与调优在当前程序分段计时;计时范围见性能分析 · 可重复基线
稳态更快,但少量调用的总时间更长比较新增准备成本与实际调用次数可节省的时间同范围的准备差值、稳态配对和调用次数05 成本摊销在当前任务核对复用次数及重编译;公式与条件
改变长度后反复生成编译版本对照触发重编译的输入形状与编译条件输入长度序列、重编译原因与版本数量02 图编译与融合Part 01 · 30 动态形状
计算被拆成多个编译片段从第一个图中断位置查找未被捕获的操作图中断位置、原因与前后编译片段02 图编译与融合编译基础:Part 01 · 09 图编译
设置新内核后,轨迹中仍是其他实现对应调用入口与设备事件,区分编译改写、名称差异和回退对应输入、编译或调用记录、实际设备内核07 组件集成调用与设备事件对应见性能分析 · 轨迹阅读
同名内核有多份特化记录,难以对应本次调用将输入条件、编译配置和产物摘要与实际启动的对象对应源码/配置、产物摘要、启动或 CUDA 活动记录05 执行身份产物与真实调用核对:Part 03 · 18 编译产物
注意力单块正确,跨多个 K/V 块后出错检查行最大值增大时,旧指数和与输出累积量是否同时重缩放固定 Q/K/V 的单块、多块输出及参考误差04 注意力分块Part 03 · 11 FlashAttention
Query 头与 KV 头数量不同时出错先逐头核对 Query 到 KV 头的映射各 Query 头使用的 KV 头编号与输出04 头共享Part 03 · 12 变长 GQA
同批请求长度不同时输出出错检查补齐位置是否在 Softmax 前被排除同一请求单独运行与补齐后批量运行的输出04 有效长度Part 03 · 12 变长 GQA
KV 分页后输出变化逐位置对照块表映射,先查跨页位置相同逻辑 KV 的连续/非连续物理页布局与输出04 分页寻址Part 03 · 13 PagedAttention
KV 量化后注意力误差明显扩大先核对同一 Token/头取到的缩放值,再检查反量化结果原始与恢复后的 KV、注意力输出误差04 KV 量化Part 03 · 16 KV 量化解码
换 GPU 后同一配置变慢先检查目标设备的生成代码与每块资源使用两台设备的配置、寄存器/共享内存用量与配对耗时05 设备资源设备能力:Part 01 · 03 GPU架构;产物核对:Part 03 · 18 编译与执行;资源对照:Part 04 · 05 驻留
简化驻留上界高于 CUDA 查询核对实际静态/动态共享需求、驱动预留及线程/函数限制,确认单位与分配粒度同设备、同函数、同启动配置的需求与查询值05 驻留约束模型与查询对照:Part 04 · 05 资源与驻留
预测驻留能力更高,耗时却没有下降区分容量预测与运行期活跃程度,检查任务量及每任务工作是否改变网格与资源配置、配对耗时;需要时另采活跃线程束和等待记录05 驻留与执行容量控制实验:Part 04 · 05 资源与驻留,查询值不代替运行期指标
自动调优每次选中的配置不同固定输入和搜索集合,交替重复测量接近的配置各配置重复样本、运行顺序与设备负载05 测量与调优调优练习:Part 03 · 09 自动调优
多流计算偶发输出错误先检查计算是否等待对应传输,以及缓冲区是否过早复用事件依赖、缓冲区使用区间与失败输出06 异步搬运Part 04 · 10 Stream 与搬运
使用多个流,搬运与计算仍然串行对照两流的传输、计算与等待区间,再区分依赖串行化和并发条件不足搬运与计算时间线、同步位置、主机内存与设备条件06 执行重叠Part 04 · 10 Stream 与搬运
CUDA Graph 重放后几乎没有加速先比较原程序的主机提交间隙与设备计算时间原调用与重放的配对时间线,准备成本另计06 图重放固定短链配对:Part 04 · 11 Graph重放;当前程序另测输入更新、准备与完整调用
CUDA Graph 重放结果未随输入变化检查是否更新了被捕获调用实际读取的缓冲区,并等待更新完成两组不同输入、重放前缓冲区内容与输出对照06 图重放输入输入更新核对:Part 04 · 11 Graph重放;当前调用另查跨流依赖
直接调用正确,接入框架或编译后失败先检查接入前后的形状、步长与输入是否被修改相同输入的直接/集成调用输出;训练用途另测梯度07 接口与组件接口练习:Part 03 · 19 PyTorch 算子集成
内核变快,完整模块时间几乎不变比较内核、完整调用与模块时间,区分接口开销和原有耗时占比的影响内核、含转换调用、同权重模块的配对耗时07 集成开销组件对照:Part 03 · 20 Block 集成
低比特内核更快,但任务质量下降先分清量化的是权重还是 KV,再定位引入误差的层或位置浮点/量化输出、任务质量及实际计算类型04 量化对象量化与压缩专题
本地内核加速后,多卡作业仍在等待先查最慢进程的暴露通信与等待区间各进程时间线、集合通信耗时与载荷05 耗时归因通信与并行专题

Released under the MIT License.