01 优化对象与比较基线(Optimization Targets and Baselines)
学习问题
同样计算 x + y,为什么手写 Triton 实现不一定比 PyTorch 快?GPU 内核(kernel)是提交到设备上并行执行的计算程序;换一种内核实现,并不意味着读取的数据更少,也不意味着提交它的成本更低。
从向量加法开始,先让两种实现处理同一输入,核对输出和向量末尾不足一块的部分,再比较耗时。这样可以逐步分清计算是否正确、测量是否可比,以及快慢究竟来自哪里。
从向量加法的输出和耗时开始
Part 03 · 01 向量加法先用长度 1023、1024、1025 等输入核对尾块,再通过独立微基准对照 PyTorch 和 Triton 调用。可选计时的输入已在GPU上准备好,被测函数每次创建输出并发起内核调用,不包含主机到设备的输入搬运。设备事件窗口用于记录这些调用的设备侧时间,不单独给出主机输出分配或Python提交耗时;首次编译的准备成本也不能由这两个字段读出。
当前微基准先调用候选并核对输出,再用 triton.testing.do_bench 预热和重复测量两条路径。这里要做的是读清计时范围并比较同一工作,不是先搜索块大小或线程配置;当前结果也不是完整Python主机墙钟耗时。准备成本与更系统的多轮配对在后续比较中另行展开。
进入下一阶段的SwiGLU三路径对照时,计时会改为主机墙钟窗口:从Python发起调用,直到窗口内的设备工作全部完成,包含提交、输出分配与完成等待。它用于比较一次完整调用;向量加法微基准用于观察预热后的设备侧调用。两者都先准备好GPU输入,但测量范围不同,应分别计算各自的加速比。
数值核对使用预先确定的容差,即允许的绝对误差或相对误差范围;它随计算和精度要求确定,不默认所有实现逐位相同。得到两种耗时后,再计算同范围的比值。若候选较慢,可继续从任务提交、内存访问、输出分配和测量波动寻找原因,而不是先认定手写内核应当更快。
完成向量加法后,应能解释每个Program负责的位置、尾块哪些元素有效,并用参考结果检查输出。选择可选计时时,再说明设备事件覆盖的范围、预热的作用,并计算同范围的加速比;块大小搜索与资源归因在Task4继续展开。
比较激活内核,还是完整的激活与乘法
加法只有一步,再考虑两步计算
单独测激活内核,得到的是激活计算的时间;测完整的激活与乘法,还要包含中间张量读写和两次调用的成本。两者即使使用相同输入,也不能直接比较。新实现需要的额外转置或复制,同样属于完整调用的一部分。
展开算式的参考实现便于检查中间值与误差;性能基线则说明实际采用逐算子调用,还是编译后的计算。数值参考与性能基线可以不同,但融合前后都要从相同的
加速比与耗时降幅怎样计算
设同一计时范围内,基线耗时为
先说明这些时间是单次观测、均值还是中位数,再解释比值。若每轮交替运行基线与候选,也可以先计算各轮比值,再汇总配对结果;这种统计与分别取两组中位数后相除不同。
计算、搬运和提交分别怎样形成开销
逐元素激活与乘法之间的中间张量,增加了一次写回和一次读取;融合可以尝试省去这部分搬运。矩阵乘法中的情况不同:加载的输入子块如果参与更多乘加,就能提高数据复用。小输入下,这些计算可能很快结束,主机提交和任务启动反而占据较大比例。
执行轨迹可以帮助区分这些情况:时间主要落在内核内部,还是落在调用间隙?前者继续分析计算和访存,后者再看任务提交。带宽、计算吞吐和启动次数用于解释耗时,最终仍比较相同范围内的总时间。
为什么局部变快可能只带来很小的整体改善
设某算子占原始总时间的比例为
例如,假设原始总时间为 100 个时间单位,其中该算子占 10 个;该算子速度变为原来的 2 倍后,只用 5 个,总时间仍需 95 个。此时
从基线选择第一项改动
回到激活与乘法的例子,最直接的改动是尝试减少中间张量读写与一次任务提交。如果编译已经做到了这两点,后续再分析生成内核的访存;如果时间主要落在许多短任务的调用间隙,再考虑图重放。下一步通过图编译与融合观察这段计算如何合并。
