05 · 算子优化交付综合项目
项目目标
本项目把 Triton FlashAttention 接入两层解码器预填充路径,与同权重的 PyTorch SDPA 路径配对比较。输入、投影权重、RoPE、MLP、精度和因果掩码保持一致,只替换注意力实现;在多种序列长度下检查输出误差、端到端模块延迟和峰值显存。
项目复用仓库中的 Triton 注意力实现代码,自行生成输入与权重,并在两层解码器、固定形状和本项目门槛下测量。结论只适用于单卡预填充,不外推到整模型生成、反向传播或其他 GPU。
比较条件
| 条件 | 注意力实现 | 其余解码器路径 |
|---|---|---|
| 基线 | PyTorch SDPA 自动后端 | 两层解码器、同一投影权重、RoPE、MLP、残差与 BF16 输入;记录实际分发后端 |
| 候选 | Triton FlashAttention 前向内核 | 与基线相同 |
固定输入形状为 batch 1、序列长度 128、512、1024、2048,hidden size 512、8 个 query/key/value heads、head dimension 64。每个形状以固定种子生成输入和权重;每条路径预热 3 次、配对测量 10 次,轮换执行顺序。
指标与决策
| 指标 | 用途 | 预注册门槛 |
|---|---|---|
| 输出误差 | 确认两种注意力路径数值接近 | 所有形状满足 rtol=2e-2、atol=2e-2,且无 NaN/Inf |
| 两层预填充延迟 | 衡量算子接入后的完整路径变化 | 1024、2048 上,逐轮基线耗时/候选耗时的中位数分别达到 1.05 |
| 短序列延迟 | 检查小负载回退 | 128、512 上不允许超过 10% 回退 |
| 峰值显存 | 观察长序列容量收益 | 不超过设备可用预算;记录每个形状的峰值 |
| 执行路径 | 确认两条路径实际调用的后端 | 对基线与候选分别采集性能剖析轨迹;记录 SDPA 自动分发结果,并核验 Triton 候选内核被调用 |
配对样本缺失、重复或汇总值无法由样本复算时判 pending;样本完整但数值错误或目标路径未执行时判 reject;正确性通过但收益或资源门槛未达标时判 tune;全部门槛通过时判 accept。若 SDPA 自动选择 FlashAttention 类后端,基线保留该选择,并记录具体分发事件。GPU 结论将在完成本项目测量后登记。
环境与输入
使用 PERF-CUDA-MECHANISM。PyTorch CUDA 环境随附 Triton;项目不下载模型或数据集,也不依赖 Part 03 的实验输出。运行前检查 Triton 导入、CUDA kernel 小探测、BF16 支持和显存余量。
与 Part 03 的关系
Part 03 · 11 介绍 FlashAttention 前向内核,20 核对它在解码器模块中的替换;本项目把该实现放进两层、更长序列的预填充路径中测量。可复用代码,性能与数值结论由本项目的负载重新验证。
相关阅读
- 11 · Triton Flash Attention:查看本项目调用的前向内核。
- 20 · LLaMA 风格 Block 集成:理解 attention 实现替换与 decoder block 的关系。
