Skip to content

Group 3.3: Attention and Sequence Kernels | 3.3: Attention 与序列计算 ​

本组按位置变换、注意力计算和解码缓存寻址展开:10处理RoPE,11一次处理多个查询位置,12与13则为每个请求的当前查询读取历史K/V。12使用带有效长度的连续缓存并共享KV头,13通过页表读取物理缓存;两者用于比较寻址与归一化关系,各自独立构造输入。

3.3 区分 RoPE、注意力计算与两种 KV 表示

Group Asset Overview | 组内资产总览 ​

页面核心问题实现与证据产物在本组中的作用
10 RoPE如何按位置索引变换 Query/Key?RoPE 输出与参考实现数值核对位置编码分支
11 FlashAttention多个查询位置怎样分块消费K/V?前向结果与PyTorch SDPA核对多查询分块前向,可用于预填充计算理解
12 变长GQA解码当前查询怎样按请求长度读取共享KV头?GQA/MQA与有效长度掩码数值核对单查询、连续补齐缓存
13 PagedAttention解码当前查询怎样通过页表读取物理KV页?间接寻址与跨页Online Softmax核对单查询、分页只读计算

Learning Path | 学习路径 ​

Next Steps | 后续衔接 ​

  • 需要比较权重量化、LoRA 路由或 KV Cache 量化等推理算子时,按目标进入 3.4;不必先完成本组全部页面。

Environment Notes | 环境说明 ​

运行目标环境与证据边界
10–13 kernel 正确性需要 NVIDIA GPU、CUDA 可用的 PyTorch 与 Triton;环境创建和预检见算子优化实验 Quickstart
Attention / KV 性能判断本组数值对照只验证机制正确性;性能主张须使用目标设备上的独立基准与测量协议

Released under the MIT License.