Skip to content

05 · 算子优化交付综合项目 ​

项目目标 ​

本项目把 Triton FlashAttention 接入两层解码器预填充路径,与同权重的 PyTorch SDPA 路径配对比较。输入、投影权重、RoPE、MLP、精度和因果掩码保持一致,只替换注意力实现;在多种序列长度下检查输出误差、端到端模块延迟和峰值显存。

项目复用仓库中的 Triton 注意力实现代码,自行生成输入与权重,并在两层解码器、固定形状和本项目门槛下测量。结论只适用于单卡预填充,不外推到整模型生成、反向传播或其他 GPU。

比较条件 ​

条件注意力实现其余解码器路径
基线PyTorch SDPA 自动后端两层解码器、同一投影权重、RoPE、MLP、残差与 BF16 输入;记录实际分发后端
候选Triton FlashAttention 前向内核与基线相同

固定输入形状为 batch 1、序列长度 128、512、1024、2048,hidden size 512、8 个 query/key/value heads、head dimension 64。每个形状以固定种子生成输入和权重;每条路径预热 3 次、配对测量 10 次,轮换执行顺序。

指标与决策 ​

指标用途预注册门槛
输出误差确认两种注意力路径数值接近所有形状满足 rtol=2e-2、atol=2e-2,且无 NaN/Inf
两层预填充延迟衡量算子接入后的完整路径变化1024、2048 上,逐轮基线耗时/候选耗时的中位数分别达到 1.05
短序列延迟检查小负载回退128、512 上不允许超过 10% 回退
峰值显存观察长序列容量收益不超过设备可用预算;记录每个形状的峰值
执行路径确认两条路径实际调用的后端对基线与候选分别采集性能剖析轨迹;记录 SDPA 自动分发结果,并核验 Triton 候选内核被调用

配对样本缺失、重复或汇总值无法由样本复算时判 pending;样本完整但数值错误或目标路径未执行时判 reject;正确性通过但收益或资源门槛未达标时判 tune;全部门槛通过时判 accept。若 SDPA 自动选择 FlashAttention 类后端,基线保留该选择,并记录具体分发事件。GPU 结论将在完成本项目测量后登记。

环境与输入 ​

使用 PERF-CUDA-MECHANISM。PyTorch CUDA 环境随附 Triton;项目不下载模型或数据集,也不依赖 Part 03 的实验输出。运行前检查 Triton 导入、CUDA kernel 小探测、BF16 支持和显存余量。

与 Part 03 的关系 ​

Part 03 · 11 介绍 FlashAttention 前向内核,20 核对它在解码器模块中的替换;本项目把该实现放进两层、更长序列的预填充路径中测量。可复用代码,性能与数值结论由本项目的负载重新验证。

相关阅读 ​

Released under the MIT License.