04 矩阵计算与推理状态的数据路径(Matrix Computation and Inference Data Paths)
学习问题
矩阵乘法中,读入的一块数据可以参与多个输出的计算;注意力又在两次矩阵乘之间加入整行归一化。前者要安排输入复用与累加,后者还要回答:分数按块算完即丢弃后,怎样得到与整行Softmax对应的输出?
先从矩阵乘法(GEMM)的一个输出块出发,追踪沿K维累加的部分和;再用一个查询、四个键的例子,跟踪注意力跨块保留的最大值、指数和与输出累积量。掌握这两种计算后,可按当前模型的头结构、缓存地址和数值表示,选择解码、分页、量化或适配器分支。
GEMM 的子块怎样参与多次乘加
设
例如,一个
下图令M、N均为2,K为4,每轮处理两个K位置。A的一行同时供两个输出列使用,B的一列同时供两个输出行使用;第二轮继续累加到原来的四个部分和。
输入、累加器与输出可以使用不同类型,例如低精度输入经较高精度累加后再转换输出。Tensor Core 是矩阵计算单元,调用路径还要满足它的形状、布局和类型条件;CUDA 的 WMMA 接口让一个线程束协作执行矩阵操作,NVIDIA 的线程束(Warp)包含 32 个线程。具体约束可对照Part 04 · 07 矩阵指令,而不只根据输入精度猜测执行方式。
输入子块还要及时送到计算位置。Part 04 · 06 共享内存 GEMM让块内线程共同装载并消费当前子块;异步流水线则尝试在消费当前块时装载下一块。两组缓冲区分别保留当前与后续数据,消费前等待数据就绪,复用前确认旧数据读完。能否在时间上重叠,要继续观察实际等待区间;线程级的异步拷贝练习见Part 04 · 09 异步拷贝。
完成矩阵乘后怎样直接消费结果
矩阵尾部(epilogue)指完整K维累加结束后、结果写回前的处理。例如,先计算矩阵乘,再按列加偏置,最后执行SiLU激活。分开执行时,矩阵乘结果先写回设备内存,后续操作再读取;融合时,当前Program直接处理已经算完的输出块,最后写回处理后的结果。纯GEMM仍是对照,用于区分矩阵乘本身与新增尾部操作的成本。
尾部操作还要保持原计算的顺序与舍入位置。以一行输入
扩展:同一个Program连续处理多个输出块
前面的分块决定一个输出块怎样算完,还可以进一步改变输出块由谁处理。若共有7个输出块,普通分工让7个Program各处理一块;持久化分工则只启动3个:Program 0依次处理0、3、6,Program 1处理1、4,Program 2处理2、5。“持久化”指程序实例算完当前块后继续处理后续块,直到自己的任务完成。每个输出块仍须完成整个K维点积,换到新块时重新清零累加器。
两种安排都可在一次内核启动中完成,改变的是设备侧任务分配。较少Program会运行更久,也减少可并行推进的独立输出块;访问次序和缓存复用也可能变化。实际并发还取决于SM(流式多处理器)的数量与资源限制。Part03·06 持久化GEMM展开覆盖与累加器重置,并在相同设备计时范围内比较不同Program预算的稳态耗时。比较准备、设备执行与完整调用时,分别采用测量与性能归因中的对应范围。
从矩阵分块进入注意力
Attention 在两次矩阵乘法之间增加了行归一化。它不能简单地把每块独立算完再拼接,还必须让不同 K/V 块共享同一个归一化基准。下面跟踪前向输出;若要接入训练,反向所需的保存量、重算与梯度需要另行核对,见训练正文02 · Transformer 局部反向。
分块怎样避免保存完整分数矩阵
设查询(Query)矩阵为
其中
跨块保留的最大值、指数和与输出累积量
先只看一个查询。假设四个有效键的缩放后分数依次为 1、2、3、4,对应的值向量为
第二块带来分数 3、4,整行最大值变为
展开后,四个值向量的系数分别为
按输入与存储条件选择读取分支
矩阵复用与跨块归一化说明了输入到输出的计算过程。放回模型时,查询数量、键值(KV)头数、历史地址和数值表示又会改变输入规模、寻址和恢复工作。下面按所处理的数据展开这些分支:先确定预填充或解码的形状,再按模型读取共享头、分页或量化缓存;权重与适配器则处理线性层参数。比较某一分支的两个实现时,保持该模型的结构与有效位置相同。
预填充和解码怎样改变主要工作集
预填充通常同时处理多个查询位置;每次生成一个词元(Token)的解码则用新的查询读取已有上下文 K/V,查询数量较小而上下文随生成增长。前者可以让多个查询复用读入的 K/V,后者则反复读取随上下文增长的缓存。因此,同样的注意力公式会形成不同的矩阵形状和访存需求。
解码读取缓存时,还要保留每个键对应的原始位置,变换语义可回补Part 02 · 03 RoPE。旋转位置编码(RoPE)让查询与键的特征对按位置旋转;新生成的查询使用自己的位置,缓存中的键保留原有位置对应的旋转。位置取错会改变点积分数,即使内存地址恰好正确也会算出不同结果。Part 03 · 10 RoPE从索引与逐元素旋转展开这一过程。
头共享和有效长度怎样约束 KV 读取
解码过程中,每个查询头都要读取相应的 K/V,头结构的定义见Part 02 · 04 Attention。分组查询注意力(GQA)让多个查询头共享一组 K/V,从而减少需要保存的 KV 头。设查询头数为
例如
头编号确定后,还要确定哪些位置有效。假设同批两个请求的长度分别是 3 和 5,存储都补齐到 5。第一个请求的后两个位置必须在 Softmax 前排除;如果将它们计入指数和,再只屏蔽最后输出,前三个位置的权重也已经被改变。Part 03 · 12 变长GQA把这种长度差异与查询头映射放在同一次解码计算中处理。
分页与量化分别改变什么
前面按逻辑位置读取 K/V,并不要求它们在物理存储上连续,分页机制见Part 02 · 22 分页缓存。以每页保存 4 个词元为例,零起始位置 6 位于逻辑页 1、页内偏移 2;若块表把逻辑页 1 映射到物理页 9,就从物理页 9 的偏移 2 取数。改变物理页安排,应该仍读到同一个逻辑位置的 K/V。
量化进一步改变页内保存的数值,表示与误差可回补Part 02 · 54 KV量化。读取时,内核同时取出低比特值与缩放信息,恢复近似的 K/V 再参与计算。因此,分页改变“去哪里取”,量化改变“取出的值怎样恢复”;后者还会引入近似误差。有些格式还保存零点,即实数零对应的量化编码。比较缓存容量时,这些缩放、零点元数据和布局填充都要计入,不能只用浮点与量化值的位宽之比作为实际节省。
| 改动 | 保持的关系 | 新增的核对对象 |
|---|---|---|
| 分块计算 | 有效位置上的注意力定义 | 跨块状态、重标定和尾块 |
| KV 头共享 | 每个查询头仍有独立输出 | 查询头到 KV 头的映射 |
| 分页存储 | 逻辑词元顺序与数值 | 块表、物理页、页内偏移 |
| KV 量化 | 有效位置与访问关系 | 量化值、缩放信息、误差和实际存储字节 |
分页和量化也可以组合:块表先确定物理页,读取时再根据该页的数据布局找到量化值与缩放信息。如果缩放信息按词元和头存储,寻址就必须同时使用正确的页内位置与 KV 头编号;页地址正确而缩放取错,仍会改变输出。分别核对两种改动时,使用Part 03 · 13 PagedAttention的地址、数值与接口计时,或Part 03 · 16 量化KV解码的输出与字节对照。要判断量化后是否更快,还需将量化、恢复与注意力计算一起计时。
权重与适配器的读取
权重量化处理线性层参数,KV 量化处理请求上下文;乘加表示见Part 02 · 25 W8A16。按输出通道量化的权重,要根据输出通道恢复尺度;逐向量量化的 KV 则在读取相应词元与头时恢复,两者使用不同的缩放索引。若低比特值先恢复为浮点再参与乘加,节省的是存储与读取字节,仍增加了反量化工作;实际计算指令不能由存储位宽推断。
低秩适配(LoRA)用两组较小的矩阵产生对基座线性层的输出增量;一套配套参数称为一个适配器。Multi-LoRA让同一批请求选择不同适配器,按编号读取配套的低秩矩阵,再把对应增量交回各自输入。选错编号时,输出形状可能仍然正确,数值却来自另一套参数。适配器编号选择参数,KV块表查找上下文,两种索引解决的是不同问题。
权重路径可用Part 03 · 14 W8A16比较 8 位权重、16 位激活下,缓存浮点权重、显式恢复与融合接口的调用成本;Part 03 · 15 Multi-LoRA则展开同批输入的低秩增量计算。完成所选分支后,把读取、数值恢复和布局转换计入测量与性能归因。Attention替换可在Part 03 · 20 Block集成中复测;量化与适配器则需要保留各自的接口和质量检查。
