第 7 章 · 排队雪崩:到达 → 等待 → Continuous Batching → KV 水位 → SLA 突破

播放速度 1.0× t = 0.0 s
Waiting
0
Prefill
0
Running
0
Engine batch
0
KV 水位
0%
Preemptions
0
Completed
0
Goodput
0.00/s
① Waiting queue请求已到达,尚未进入 Prefill
② Prefill输入 token 正在建立 KV
③ Running batch每一步真正上 GPU 的序列数 B
SLA 正常
等待首个请求完成……

最近完成(DES 逐请求结果)

#TTFTTPOTE2E判定

这条 run 的口径

数据源DES run(不是真机曲线)
到达Poisson λ = req/s
请求数
模型/硬件Qwen3-4B · RX 9070 XT
ISL / OSL256 / 128 tokens
服务时间
KV 容量24,464 tokens · 16-token pages
怎么读:Waiting 是引擎外部的排队;Running 才是 GPU 每一步的 batch size。 λ 超过系统容量后,等待队列持续变长,KV 水位逼近上限,SLA 先从尾部破裂。 动画的每一个数字都来自随章 DES 的逐请求时间线;真机 vLLM 的 P99 对齐表见正文 7.6 节与 results/analysis.json。