第 7 章 · 排队雪崩:到达 → 等待 → Continuous Batching → KV 水位 → SLA 突破
暂停
↻ 重播
播放速度
1.0×
t =
0.0
s
Waiting
0
Prefill
0
Running
0
Engine batch
0
KV 水位
0%
Preemptions
0
Completed
0
Goodput
0.00/s
① Waiting queue
请求已到达,尚未进入 Prefill
② Prefill
输入 token 正在建立 KV
③ Running batch
每一步真正上 GPU 的序列数 B
SLA 正常
等待首个请求完成……
最近完成(DES 逐请求结果)
#
TTFT
TPOT
E2E
判定
这条 run 的口径
数据源
DES run(不是真机曲线)
到达
Poisson λ =
req/s
请求数
模型/硬件
Qwen3-4B · RX 9070 XT
ISL / OSL
256 / 128 tokens
服务时间
KV 容量
24,464 tokens · 16-token pages
怎么读:
Waiting 是引擎外部的排队;Running 才是 GPU 每一步的 batch size。 λ 超过系统容量后,等待队列持续变长,KV 水位逼近上限,SLA 先从尾部破裂。 动画的每一个数字都来自随章 DES 的逐请求时间线;真机 vLLM 的 P99 对齐表见正文
7.6
节与
results/analysis.json
。