Skip to content

04 矩阵计算与推理状态的数据路径(Matrix Computation and Inference Data Paths) ​

学习问题 ​

矩阵乘法中,读入的一块数据可以参与多个输出的计算;注意力又在两次矩阵乘之间加入整行归一化。前者要安排输入复用与累加,后者还要回答:分数按块算完即丢弃后,怎样得到与整行Softmax对应的输出?

先从矩阵乘法(GEMM)的一个输出块出发,追踪沿K维累加的部分和;再用一个查询、四个键的例子,跟踪注意力跨块保留的最大值、指数和与输出累积量。掌握这两种计算后,可按当前模型的头结构、缓存地址和数值表示,选择解码、分页、量化或适配器分支。

GEMM 的子块怎样参与多次乘加 ​

设 A 为 M×K 矩阵, B 为 K×N 矩阵,输出 C=AB 有 M 行、 N 列。每个输出元素都要累加 K 个乘积。计算一个输出子块时,A 的同一行数据可以供多个输出列使用,B 的同一列数据可以供多个输出行使用;将这些输入子块留在片上,就有机会减少重复取数。累加器保存尚未完成的部分和,同一个输出块沿 K 维继续累加,新输出块再从零开始。

例如,一个 2×2 输出块包含四个点积。沿 K 维处理一段输入时,A 的两行分别供两列输出使用,B 的两列分别供两行输出使用。扩大输出块可以增加这种复用,也增加同时保存的部分和;具体分块见Part 03 · 05 GEMM与尾部融合。

下图令M、N均为2,K为4,每轮处理两个K位置。A的一行同时供两个输出列使用,B的一列同时供两个输出行使用;第二轮继续累加到原来的四个部分和。

A和B子块复用于四个输出,沿K维累加到同一输出块

输入、累加器与输出可以使用不同类型,例如低精度输入经较高精度累加后再转换输出。Tensor Core 是矩阵计算单元,调用路径还要满足它的形状、布局和类型条件;CUDA 的 WMMA 接口让一个线程束协作执行矩阵操作,NVIDIA 的线程束(Warp)包含 32 个线程。具体约束可对照Part 04 · 07 矩阵指令,而不只根据输入精度猜测执行方式。

输入子块还要及时送到计算位置。Part 04 · 06 共享内存 GEMM让块内线程共同装载并消费当前子块;异步流水线则尝试在消费当前块时装载下一块。两组缓冲区分别保留当前与后续数据,消费前等待数据就绪,复用前确认旧数据读完。能否在时间上重叠,要继续观察实际等待区间;线程级的异步拷贝练习见Part 04 · 09 异步拷贝。

完成矩阵乘后怎样直接消费结果 ​

矩阵尾部(epilogue)指完整K维累加结束后、结果写回前的处理。例如,先计算矩阵乘,再按列加偏置,最后执行SiLU激活。分开执行时,矩阵乘结果先写回设备内存,后续操作再读取;融合时,当前Program直接处理已经算完的输出块,最后写回处理后的结果。纯GEMM仍是对照,用于区分矩阵乘本身与新增尾部操作的成本。

尾部操作还要保持原计算的顺序与舍入位置。以一行输入 [1,1]、一列权重 [2,−3] 为例,完整点积为 −1,应在此之后计算SiLU;逐段激活再求和会得到不同结果。Part03·05进一步在FP16矩阵乘输出与偏置相加后保留对应舍入,再执行激活,并核对纯GEMM、带偏置、带激活和两者组合。比较性能时应让参考与候选完成相同操作,同时记录完整调用耗时;当前微基准中的纯GEMM结果只对应纯矩阵乘路径。

扩展:同一个Program连续处理多个输出块 ​

前面的分块决定一个输出块怎样算完,还可以进一步改变输出块由谁处理。若共有7个输出块,普通分工让7个Program各处理一块;持久化分工则只启动3个:Program 0依次处理0、3、6,Program 1处理1、4,Program 2处理2、5。“持久化”指程序实例算完当前块后继续处理后续块,直到自己的任务完成。每个输出块仍须完成整个K维点积,换到新块时重新清零累加器。

两种安排都可在一次内核启动中完成,改变的是设备侧任务分配。较少Program会运行更久,也减少可并行推进的独立输出块;访问次序和缓存复用也可能变化。实际并发还取决于SM(流式多处理器)的数量与资源限制。Part03·06 持久化GEMM展开覆盖与累加器重置,并在相同设备计时范围内比较不同Program预算的稳态耗时。比较准备、设备执行与完整调用时,分别采用测量与性能归因中的对应范围。

七个输出块分别交给七个Program,或由三个Program各自循环处理

从矩阵分块进入注意力 ​

Attention 在两次矩阵乘法之间增加了行归一化。它不能简单地把每块独立算完再拼接,还必须让不同 K/V 块共享同一个归一化基准。下面跟踪前向输出;若要接入训练,反向所需的保存量、重算与梯度需要另行核对,见训练正文02 · Transformer 局部反向。

分块怎样避免保存完整分数矩阵 ​

设查询(Query)矩阵为 Q∈RNq×d,键(Key)为 K∈RNk×d,值(Value)为 V∈RNk×dv。 Nq,Nk 分别表示查询与键的数量, d 是点积维度, dv 是输出特征维度。对有效键位置按行归一化,输出为:

O=softmax(QKT/d+M)V.

其中 M 表示掩码:允许的位置加零,被排除的位置加负无穷;每个有效查询至少有一个允许的键, O 是注意力输出。直接计算会产生含 NqNk 个元素的分数矩阵。分块则一次只计算当前 Q 块与一个 K 块之间的分数,随后继续处理下一个 K/V 块。

跨块保留的最大值、指数和与输出累积量 ​

先只看一个查询。假设四个有效键的缩放后分数依次为 1、2、3、4,对应的值向量为 v1,v2,v3,v4,每个向量有 dv 个分量。将键分成前后两块,每块两个。第一块算完后,可以丢掉分数,但要留下行最大值 m1、减去该最大值后的指数和 ℓ1,以及尚未除以指数和的加权累积向量 a1:

m1=2,ℓ1=e−1+1,a1=e−1v1+v2.

第二块带来分数 3、4,整行最大值变为 m2=4。第一块的指数原先按最大值 2 计算,现在要统一改成按 4 计算,因此旧贡献都乘以 e2−4=e−2,再加入第二块:

ℓ2=e−2ℓ1+e−1+1,a2=e−2a1+e−1v3+v4.

展开后,四个值向量的系数分别为 e−3,e−2,e−1,1,与整行分数减去最大值 4 后的指数一致。最后,该查询的输出为 o=a2/ℓ2。如果只缩放指数和而遗漏加权累积量,分子与分母就会使用不同的缩放基准,结果随之改变。对一组查询逐行重复计算,就得到 Q 块的注意力输出;两块之间只需继续传递最大值、指数和与加权累积量,而不用保留完整分数矩阵。Part 02 · 20 FlashAttention模拟与Part 03 · 11 FlashAttention分别展开这组递推和内核实现。

两块注意力之间同时重标定指数和与加权累积量

按输入与存储条件选择读取分支 ​

矩阵复用与跨块归一化说明了输入到输出的计算过程。放回模型时,查询数量、键值(KV)头数、历史地址和数值表示又会改变输入规模、寻址和恢复工作。下面按所处理的数据展开这些分支:先确定预填充或解码的形状,再按模型读取共享头、分页或量化缓存;权重与适配器则处理线性层参数。比较某一分支的两个实现时,保持该模型的结构与有效位置相同。

预填充和解码怎样改变主要工作集 ​

预填充通常同时处理多个查询位置;每次生成一个词元(Token)的解码则用新的查询读取已有上下文 K/V,查询数量较小而上下文随生成增长。前者可以让多个查询复用读入的 K/V,后者则反复读取随上下文增长的缓存。因此,同样的注意力公式会形成不同的矩阵形状和访存需求。

解码读取缓存时,还要保留每个键对应的原始位置,变换语义可回补Part 02 · 03 RoPE。旋转位置编码(RoPE)让查询与键的特征对按位置旋转;新生成的查询使用自己的位置,缓存中的键保留原有位置对应的旋转。位置取错会改变点积分数,即使内存地址恰好正确也会算出不同结果。Part 03 · 10 RoPE从索引与逐元素旋转展开这一过程。

头共享和有效长度怎样约束 KV 读取 ​

解码过程中,每个查询头都要读取相应的 K/V,头结构的定义见Part 02 · 04 Attention。分组查询注意力(GQA)让多个查询头共享一组 K/V,从而减少需要保存的 KV 头。设查询头数为 Hq,KV 头数为 Hkv,要求 Hq 能被 Hkv 整除。每个 KV 头服务 G=Hq/Hkv 个查询头,零起始查询头 hq 对应:

hkv=⌊hq/G⌋.

例如 Hq=8、 Hkv=2 时,查询头 0–3 读取 KV 头 0,查询头 4–7 读取 KV 头 1。共享的是 K/V,八个查询头仍分别计算各自的分数和输出。这里实现的是模型已经给定的头结构;比较两个 GQA 内核时固定相同的头数、权重与映射,不能把改变模型头结构与替换内核实现混为同一次优化。

头编号确定后,还要确定哪些位置有效。假设同批两个请求的长度分别是 3 和 5,存储都补齐到 5。第一个请求的后两个位置必须在 Softmax 前排除;如果将它们计入指数和,再只屏蔽最后输出,前三个位置的权重也已经被改变。Part 03 · 12 变长GQA把这种长度差异与查询头映射放在同一次解码计算中处理。

分页与量化分别改变什么 ​

前面按逻辑位置读取 K/V,并不要求它们在物理存储上连续,分页机制见Part 02 · 22 分页缓存。以每页保存 4 个词元为例,零起始位置 6 位于逻辑页 1、页内偏移 2;若块表把逻辑页 1 映射到物理页 9,就从物理页 9 的偏移 2 取数。改变物理页安排,应该仍读到同一个逻辑位置的 K/V。

量化进一步改变页内保存的数值,表示与误差可回补Part 02 · 54 KV量化。读取时,内核同时取出低比特值与缩放信息,恢复近似的 K/V 再参与计算。因此,分页改变“去哪里取”,量化改变“取出的值怎样恢复”;后者还会引入近似误差。有些格式还保存零点,即实数零对应的量化编码。比较缓存容量时,这些缩放、零点元数据和布局填充都要计入,不能只用浮点与量化值的位宽之比作为实际节省。

改动保持的关系新增的核对对象
分块计算有效位置上的注意力定义跨块状态、重标定和尾块
KV 头共享每个查询头仍有独立输出查询头到 KV 头的映射
分页存储逻辑词元顺序与数值块表、物理页、页内偏移
KV 量化有效位置与访问关系量化值、缩放信息、误差和实际存储字节

分页和量化也可以组合:块表先确定物理页,读取时再根据该页的数据布局找到量化值与缩放信息。如果缩放信息按词元和头存储,寻址就必须同时使用正确的页内位置与 KV 头编号;页地址正确而缩放取错,仍会改变输出。分别核对两种改动时,使用Part 03 · 13 PagedAttention的地址、数值与接口计时,或Part 03 · 16 量化KV解码的输出与字节对照。要判断量化后是否更快,还需将量化、恢复与注意力计算一起计时。

权重与适配器的读取 ​

权重量化处理线性层参数,KV 量化处理请求上下文;乘加表示见Part 02 · 25 W8A16。按输出通道量化的权重,要根据输出通道恢复尺度;逐向量量化的 KV 则在读取相应词元与头时恢复,两者使用不同的缩放索引。若低比特值先恢复为浮点再参与乘加,节省的是存储与读取字节,仍增加了反量化工作;实际计算指令不能由存储位宽推断。

低秩适配(LoRA)用两组较小的矩阵产生对基座线性层的输出增量;一套配套参数称为一个适配器。Multi-LoRA让同一批请求选择不同适配器,按编号读取配套的低秩矩阵,再把对应增量交回各自输入。选错编号时,输出形状可能仍然正确,数值却来自另一套参数。适配器编号选择参数,KV块表查找上下文,两种索引解决的是不同问题。

权重路径可用Part 03 · 14 W8A16比较 8 位权重、16 位激活下,缓存浮点权重、显式恢复与融合接口的调用成本;Part 03 · 15 Multi-LoRA则展开同批输入的低秩增量计算。完成所选分支后,把读取、数值恢复和布局转换计入测量与性能归因。Attention替换可在Part 03 · 20 Block集成中复测;量化与适配器则需要保留各自的接口和质量检查。

Released under the MIT License.