Skip to content

Group 3.4: Quantization and Adapter Kernels | 3.4: 量化与适配器内核 ​

本组按推理时处理的对象分为三条实现路线:权重、按请求路由的 LoRA 适配器,以及 KV Cache 状态。三者共享 kernel 实现基础,但不是彼此的前置步骤。

3.4 推理侧权重、LoRA 与 KV 状态的独立 kernel 路线

Group Asset Overview | 组内资产总览 ​

页面核心问题实现与证据产物在本组中的作用
14 权重量化量化权重如何参与 GEMM 计算?与同一反量化权重的参考 GEMM 对照输出误差权重路线
15 Multi-LoRA一个 batch 中不同 Token 如何选择 LoRA 参数?动态路由输出与参考计算对照适配器路线
16 KV Cache 量化低比特 K/V 状态如何参与解码注意力?解码输出误差与缓存容量对照KV 状态路线

Learning Path | 学习路径 ​

  • 权重路线: 阅读 14,关注量化值、scale 与 GEMM 输出误差。
  • 适配器路线: 阅读 15,关注词元到 LoRA 参数池的路由;该练习独立于权重量化。
  • KV 状态路线: 阅读 16,关注缓存压缩和解码误差;需要理解量化值与缩放信息时可先看 14 权重量化,再区分权重通道与 KV 向量的缩放索引。

比较完整调用时,14区分缓存重建权重、逐次重建与按块恢复;15固定路由和输出宽度,计算融合带来的h重复求值;16先核对本页全量编码,再按新增位置估算追加方案的工作量,后续进入持久缓存验证。先固定这些准备范围,再讨论表示变小或内核融合能否带来收益。

Next Steps | 后续衔接 ​

  • 需要把本组某条 kernel 路线接入 PyTorch 或模型组件时,进入 3.5;不要求三条路线全部完成。

Environment Notes | 环境说明 ​

运行目标环境与证据边界
14–16 kernel 正确性需要 NVIDIA GPU、CUDA 可用的 PyTorch 与 Triton;环境创建和预检见算子优化实验 Quickstart
推理收益判断输出误差与缓存字节数不代表服务端延迟、吞吐或调度收益;需在对应推理后端另行验证

Released under the MIT License.