算子优化判断手册
按现象选择检查项,再用对照结果缩小原因范围。数值错误保留失败输入和参考输出;耗时异常保留形状、布局、精度、设备、后端及重复计时样本。链接中的练习解释相应机制,实际故障要结合当前调用的输入与执行记录定位。
| 现象或目标 | 先检查什么 | 最小证据 | 机制入口 | 验证或转交入口 |
|---|---|---|---|---|
| 输出形状正确但数值误差超限 | 先定位首个明显偏差,再检查该处的累加类型与掩码 | 失败输入、参考输出、最大误差与对应索引 | 03 语义与访存 | 寻址与边界练习:Part 03 · 17 内存调试 |
| 非整除长度时越界或遗漏元素 | 对照最后一个程序负责的索引,检查加载和写回是否都受掩码保护 | 整除与非整除长度的输出、尾块有效索引 | 03 语义与访存 | Part 03 · 01 向量加法 |
| 内核正确但慢于性能基线 | 先确认计时是否包含相同工作,再比较分块配置 | 同输入、同计时范围的多轮耗时 | 05 测量与调优 | 基准练习:Part 03 · 09 自动调优 |
| 循环分工时首个输出块正确,后续块错误 | 检查每个新 tile 是否重置累加器,编号是否映射到正确块行、块列 | 非方阵、多轮任务的逐块参考误差 | 04 输出块分工 | 状态与边界练习:Part 03 · 06 持久化 GEMM |
| 有限 Program 出现任务遗漏或重复 | 对照实际访问计数、归属与步进;不只检查 CPU 计划 | 每个 tile 的设备写入计数和归属 Program | 04 输出块分工 | 覆盖核对:Part 03 · 06 持久化 GEMM |
| 有限 Program 结果正确但更慢 | 先确认两条实际网格是否不同,再比较同配置下的并行任务数与多轮耗时 | 实际网格、tile 数、编译身份和逐轮耗时 | 05 执行身份 | 同二进制网格对照:Part 03 · 06 持久化 GEMM |
| 融合后反而更慢 | 对照完整调用与内核耗时;检查是否新增转换,或内核本身退化 | 配对耗时、调用轨迹;内核退化时再查寄存器与访存记录 | 02 图编译与融合 | 原理与对照:Part 01 · 19 算子融合 |
| 换编译后端后,原先较快的候选变慢 | 核对实际库/内核与布局转换,再比较相同范围的完整调用 | 两后端的版本、输入、实际路径、准备成本和重复耗时 | 05 后端与候选排序 | 在目标后端复测候选;组件对照方法见07 完整调用 |
| 编译后首次运行慢,后续较快 | 把首次编译、配置搜索与预热后的计算分开计时 | 首次调用耗时、编译记录与重复执行耗时 | 05 测量与调优 | 在当前程序分段计时;计时范围见性能分析 · 可重复基线 |
| 稳态更快,但少量调用的总时间更长 | 比较新增准备成本与实际调用次数可节省的时间 | 同范围的准备差值、稳态配对和调用次数 | 05 成本摊销 | 在当前任务核对复用次数及重编译;公式与条件 |
| 改变长度后反复生成编译版本 | 对照触发重编译的输入形状与编译条件 | 输入长度序列、重编译原因与版本数量 | 02 图编译与融合 | Part 01 · 30 动态形状 |
| 计算被拆成多个编译片段 | 从第一个图中断位置查找未被捕获的操作 | 图中断位置、原因与前后编译片段 | 02 图编译与融合 | 编译基础:Part 01 · 09 图编译 |
| 设置新内核后,轨迹中仍是其他实现 | 对应调用入口与设备事件,区分编译改写、名称差异和回退 | 对应输入、编译或调用记录、实际设备内核 | 07 组件集成 | 调用与设备事件对应见性能分析 · 轨迹阅读 |
| 同名内核有多份特化记录,难以对应本次调用 | 将输入条件、编译配置和产物摘要与实际启动的对象对应 | 源码/配置、产物摘要、启动或 CUDA 活动记录 | 05 执行身份 | 产物与真实调用核对:Part 03 · 18 编译产物 |
| 注意力单块正确,跨多个 K/V 块后出错 | 检查行最大值增大时,旧指数和与输出累积量是否同时重缩放 | 固定 Q/K/V 的单块、多块输出及参考误差 | 04 注意力分块 | Part 03 · 11 FlashAttention |
| Query 头与 KV 头数量不同时出错 | 先逐头核对 Query 到 KV 头的映射 | 各 Query 头使用的 KV 头编号与输出 | 04 头共享 | Part 03 · 12 变长 GQA |
| 同批请求长度不同时输出出错 | 检查补齐位置是否在 Softmax 前被排除 | 同一请求单独运行与补齐后批量运行的输出 | 04 有效长度 | Part 03 · 12 变长 GQA |
| KV 分页后输出变化 | 逐位置对照块表映射,先查跨页位置 | 相同逻辑 KV 的连续/非连续物理页布局与输出 | 04 分页寻址 | Part 03 · 13 PagedAttention |
| KV 量化后注意力误差明显扩大 | 先核对同一 Token/头取到的缩放值,再检查反量化结果 | 原始与恢复后的 KV、注意力输出误差 | 04 KV 量化 | Part 03 · 16 KV 量化解码 |
| 换 GPU 后同一配置变慢 | 先检查目标设备的生成代码与每块资源使用 | 两台设备的配置、寄存器/共享内存用量与配对耗时 | 05 设备资源 | 设备能力:Part 01 · 03 GPU架构;产物核对:Part 03 · 18 编译与执行;资源对照:Part 04 · 05 驻留 |
| 简化驻留上界高于 CUDA 查询 | 核对实际静态/动态共享需求、驱动预留及线程/函数限制,确认单位与分配粒度 | 同设备、同函数、同启动配置的需求与查询值 | 05 驻留约束 | 模型与查询对照:Part 04 · 05 资源与驻留 |
| 预测驻留能力更高,耗时却没有下降 | 区分容量预测与运行期活跃程度,检查任务量及每任务工作是否改变 | 网格与资源配置、配对耗时;需要时另采活跃线程束和等待记录 | 05 驻留与执行 | 容量控制实验:Part 04 · 05 资源与驻留,查询值不代替运行期指标 |
| 自动调优每次选中的配置不同 | 固定输入和搜索集合,交替重复测量接近的配置 | 各配置重复样本、运行顺序与设备负载 | 05 测量与调优 | 调优练习:Part 03 · 09 自动调优 |
| 多流计算偶发输出错误 | 先检查计算是否等待对应传输,以及缓冲区是否过早复用 | 事件依赖、缓冲区使用区间与失败输出 | 06 异步搬运 | Part 04 · 10 Stream 与搬运 |
| 使用多个流,搬运与计算仍然串行 | 对照两流的传输、计算与等待区间,再区分依赖串行化和并发条件不足 | 搬运与计算时间线、同步位置、主机内存与设备条件 | 06 执行重叠 | Part 04 · 10 Stream 与搬运 |
| CUDA Graph 重放后几乎没有加速 | 先比较原程序的主机提交间隙与设备计算时间 | 原调用与重放的配对时间线,准备成本另计 | 06 图重放 | 固定短链配对:Part 04 · 11 Graph重放;当前程序另测输入更新、准备与完整调用 |
| CUDA Graph 重放结果未随输入变化 | 检查是否更新了被捕获调用实际读取的缓冲区,并等待更新完成 | 两组不同输入、重放前缓冲区内容与输出对照 | 06 图重放输入 | 输入更新核对:Part 04 · 11 Graph重放;当前调用另查跨流依赖 |
| 直接调用正确,接入框架或编译后失败 | 先检查接入前后的形状、步长与输入是否被修改 | 相同输入的直接/集成调用输出;训练用途另测梯度 | 07 接口与组件 | 接口练习:Part 03 · 19 PyTorch 算子集成 |
| 内核变快,完整模块时间几乎不变 | 比较内核、完整调用与模块时间,区分接口开销和原有耗时占比的影响 | 内核、含转换调用、同权重模块的配对耗时 | 07 集成开销 | 组件对照:Part 03 · 20 Block 集成 |
| 低比特内核更快,但任务质量下降 | 先分清量化的是权重还是 KV,再定位引入误差的层或位置 | 浮点/量化输出、任务质量及实际计算类型 | 04 量化对象 | 量化与压缩专题 |
| 本地内核加速后,多卡作业仍在等待 | 先查最慢进程的暴露通信与等待区间 | 各进程时间线、集合通信耗时与载荷 | 05 耗时归因 | 通信与并行专题 |
