Skip to content

Mini-SGLang 缓存与执行对照 ​

两条请求共用一段输入时,第二条请求能少算多少?长输入加入后,已有解码请求又会等多久?这些问题分别涉及前缀索引、轮次预算与执行顺序。先沿共享状态的变化阅读,再观察调度和低精度执行,避免把不同优化都归结成“框架更快”。

从 Task3 开始使用这份对照:先理解缓存状态与复用,或已有同等基础,再阅读下列情景。安装见 Quickstart,代码分支、固定版本和运行准备见教学引擎资产。

同一前缀怎样变成可复用状态 ​

前缀缓存(prefix cache)复用的是相同输入前缀已经算出的 KV 状态,而不是相似问题的答案。先从 Mini-SGLang 功能说明找到基数树缓存(Radix Cache)入口:树状索引定位可匹配的前缀,底层存储保存对应 KV。与 nano-vLLM 块管理比较时,要分别观察匹配长度、物理分配和引用变化。

构造三条示意输入:A 为“公共前缀 P+问题一”,B 为“P+问题二”,C 使用不同前缀。先处理 A,再处理 B,观察匹配到多少输入、剩余后缀还要计算多少;C 用于检查不匹配时的行为。比较对象应是应用对话模板后实际送入模型的词元序列,文字看起来相同不一定意味着词元前缀相同,匹配也可能受存储粒度限制。

下图假定 A 建立的 P 状态仍可复用、B 的计算条件与共享权限也兼容。按请求顺序观察索引、引用和模型工作,才能区分“找到相同前缀”与“真正少算了一段输入”。

A建立前缀、B复用兼容状态及C未命中的索引与计算对照

观察请求结束时,先区分“释放活动引用”和“删除可复用缓存”:已经没有活动请求使用的前缀仍可能保留,直到容量压力要求回收;仍被其他请求使用的状态则不能直接覆盖。详细的匹配与引用练习见 Part 02 · 24 Prefix Cache 匹配与复用与 Part 02 · 34 SGLang 基数注意力。

怎样判断减少的是重复计算 ​

把首次填充、热前缀访问与不匹配输入分开记录。固定模型、分词器、模板、请求顺序和生成上限,先确认是否真正匹配及减少后缀工作,再比较首 token 延迟;模型加载、编译和首次分配会改变冷启动耗时,不能把它们都计成缓存收益。

做开关对照时,在同一版本的 Mini-SGLang 内只改变缓存策略,并保持预填充分块、执行重叠和 Graph 设置一致。两套引擎默认配置不同,整套默认吞吐之差不能证明前缀索引更优。正式的服务证据进入 Part 02 · 69 前缀缓存基准。

长输入加入后怎样继续推进解码 ​

Task4 沿用同一引擎,再查看分块预填充与执行重叠说明。分块预填充把长输入拆成可分轮处理的部分,为其他请求留下调度机会;执行重叠则让独立的 CPU 准备与 GPU 计算同时进行。前者改变每轮推进量,后者改变准备和计算的时间安排,两者需要分别观察。

使用三个活跃解码请求与一个新长输入,逐轮记录成员、预填充量、解码量和完成事件;例子见服务预算、连续批处理与阶段调度。先解释长输入怎样插入,再根据固定版本实际提供的开关分别比较,避免同时改变分块与重叠后无法判断收益来源。

下图把两种改动分开:上半部改变长输入在各轮的分配,下半部固定两批工作,只改变独立准备与设备计算的相对时序。实际能提前准备哪些信息,仍取决于对当前轮输出的依赖。

分块预填充的跨轮分配与独立CPU准备、GPU计算重叠的区别

低精度改变了哪类数据和计算 ​

Task5 可以继续以 Mini-SGLang 为源码对照,但要先确认阅读的是已合并实现还是实验分支。例如上游有 INT8 输出投影提案,针对的是把隐藏状态映射到词表分数的输出层(lm_head);提案代码可以用于理解局部量化,不等于所选主线版本已经支持,也不能据此推定整个模型或 KV 缓存都被量化。

先结合低精度正文确定量化对象,再跟踪加载、缩放、计算与输出四个环节:权重如何保存,输入是否转换精度,矩阵计算实际采用什么类型,输出如何恢复到后续运算需要的表示。权重字节数减少,不保证激活或 KV 同时变小;临时转换、额外副本和高精度修正也可能增加耗时与峰值显存。

某一分支没有对应实现时,仍可沿用前面的请求观察,量化比较转到支持该分支的机制与服务实验。完成路径核对后,再按统一比较方法固定输入与生成规则,判断减少的读写或计算是否抵消转换代价;具体开关与运行结果以固定代码版本为准。

对照对象要在所选版本中找到什么继续验证什么
权重量化参数、缩放元数据、加载或转换入口权重与额外副本的驻留字节、转换成本和输出质量
激活与计算输入精度转换和实际矩阵计算调用计算类型、缩放开销、数值误差与是否回退
KV 状态写入格式、读取与恢复路径状态容量、位置与追加语义、恢复开销和生成质量

Released under the MIT License.