跳转到正文

第 7 章 服务、排队与 SLA ​

⚠️ Alpha内测版本警告

此为早期内部构建版本,尚不完整且可能存在错误,欢迎大家提Issue反馈问题或建议。

本章口径与证据边界

本章的主结论来自 2026-11-18 在单张 AMD Radeon RX 9070 XT 上完成的真机实验,以及用这批真机数据校准的离散事件模拟器(DES)。数字分成三个口径,不能混用:

  • 真机口径:Qwen3-4B bf16 + vLLM 0.29.1.dev0,样本与原始分位数保存在 code/part1-modeling/chapter7/results/。正文中的实测值只从这里取。
  • DES 口径:simulate_queue.py 的服务时间参数由 C=1/2/4/8 校准集拟合,模型在打开 C=12/24/48/96 留出集之前冻结。DES 不是真机,也不等同于 vLLM 的内部实现。
  • 解析口径:Little's Law、M/M/1 与 P99 公式只用于建立直觉。它们不是本章这张卡、这个模型、这组工作负载的容量结论。

本章的 SLO 是教学与工程演示用的实验目标:P99 TTFT ≤ 800 ms、P99 TPOT ≤ 100 ms、P99 E2E ≤ 15 s、失败率 ≤ 1%。它不是产品 SLA,也不保证换模型、换卡、换请求分布后仍成立。所有容量数字都绑定本章冻结的测量契约;离开契约必须重新校准。

本章导读 ​

一个请求有多快,和一台机器能稳定服务多少人,是两个问题。前者由单请求时间线描述,后者由到达过程、排队、调度与资源上限共同决定。在线服务里最危险的数字往往不是最大吞吐,而是吞吐还在上升、P99 已经失守的那个点。

本章从这条分界线出发。先定义 TTFT、ITL、TPOT、E2E 与分位数,再区分 Open-loop 到达率 λ、Closed-loop 并发 C 与引擎内部 Batch Size B;然后用排队论解释尾延迟为什么先于平均延迟恶化;最后把连续批处理、KV Cache 与抢占机制放进一个可校准的 DES,并用真机 vLLM 压测裁决它。

本章使用的冻结契约是:

维度取值
模型Qwen3-4B,bf16,36 层,hidden=2560,8 个 KV heads,head_dim=128
硬件AMD Radeon RX 9070 XT,15.92 GiB,gfx1201;HIP_VISIBLE_DEVICES=1
软件ROCm 10.1,vLLM 0.29.1.dev0+g98dff2a81,容器镜像 rocm/vllm:rocm10.1.0_ubuntu24.04_py3.14-pytorch_2.13.0_vllm-0.29.0
服务参数--max-model-len 4096、--gpu-memory-utilization 0.90、--max-num-seqs 64
工作负载ISL=256,OSL=128;ignore_eos、temperature=0、seed=42
主实验样本每个闭环节点 200 prompts;开环节点 120 prompts;OSL=512 压力点 160 prompts
KV 池24,464 tokens,3.36 GiB;16-token block

一个直观的悬念先放在这里:同一张卡、同一个模型,C=1 时 TTFT P99 只有 37.29 ms;C=48 时升到 951.50 ms,首次越过 800 ms;C=96 时达到 4,762.77 ms。与此同时,C=96 的请求吞吐仍有 13.755 req/s,但满足 SLO 的 goodput 只剩 2.476 req/s。本章要解释的就是这组“吞吐还在涨、有效产出已经崩”的数字。

本章按以下路径展开:课程坐标 → 指标口径 → 三种负载语义 → 排队论 → 引擎机制 → DES 校准与留出 → 真机压测 → 误差归因 → 工程决策。

学习目标 ​

完成本章后,应能够:

  1. 区分钟观 TTFT、逐 token ITL、请求级 TPOT、端到端 E2E 及其 P50/P95/P99,并写出含失败请求的 SLA 判据;
  2. 区分 Open-loop λ、Closed-loop C 与引擎 Batch Size B,解释为什么 batch size 不等于在线用户数;
  3. 用 Little's Law 与 M/M/1 解释尾延迟的非线性,同时说明为什么简单排队模型不足以预测 LLM serving 的拐点;
  4. 描述 Continuous Batching、KV Cache、Prefill/Decode、抢占与重算如何共同决定 goodput;
  5. 用真机校准的服务时间模型驱动 DES,冻结预测后再用未见并发点做 holdout 验证;
  6. 在 RX 9070 XT 上运行 vLLM 并发阶梯压测,给出 P99 曲线、SLA 水位、最大承载、goodput 与误差归因;
  7. 说明哪些误差已归因、哪些仍是 unresolved,并拒绝在留出集上调参“凑答案”。

7.1 课程坐标:已有材料讲了什么,缺什么 ​

本章不是从零发明指标。Harvard mlsysbook.ai 已经给出 Little's Law、M/M/1、P99、goodput 与 KV 预算的完整公式骨架;Stanford CS336、CMU 15-442/11-868、UIUC CS498 与 MIT 6.5940 则把 Continuous Batching、PagedAttention、Prefill/Decode 与抢占机制讲得很清楚。本章的增量不在“再讲一遍机制”,而在把这些机制放进一个可校准、可留出验证、可复现的真机闭环。

课程 / 材料已经覆盖本章如何使用没有覆盖
Harvard mlsysbook.ai Vol I Ch13 / Vol II Ch10Little's Law、M/M/1、P99、TTFT/TPOT、goodput、KV 预算采用其公式骨架与 goodput 定义没有“真机服务时间校准 DES,再做 holdout”的教学闭环
Stanford CS336 Sp25 L10单请求推理、KV、Continuous Batching、PagedAttention解释引擎内部 batch 与 KV 行为没有正式排队论、SLA 容量扫描与留出验证
CMU 15-442 / 15-642serving 调度、PagedAttention、RadixAttention解释调度与 KV 管理机制没有公开的 1→64 vLLM 容量实验
CMU 11-868vLLM 内部、request-level preemption、goodput、DistServe借用 preemption / recompute / goodput 词汇没有消费级 AMD 单卡上的实测拐点对齐
UIUC CS498 MLSysTTFT/TPOT/E2E、Continuous Batching对齐指标定义没有 Little/M/M/1/P99 的 DES 实验
MIT 6.5940LLM deployment、vLLM、Continuous Batching作为机制对照没有在线容量规划与压测作业

MIT 6.S184 是 diffusion / flow matching 课程,不属于 ML systems serving 材料,本章不引用它来支撑服务结论。

在核实范围内,上述材料没有同时完成这套组合:DES + 真机 vLLM 校准 + 1→64 并发扫描 + 冻结预测后的 holdout + 消费级 AMD 单卡 + DES 驱动动画。这正是本章的实验设计空间。

7.2 服务指标:从一次请求的时间线开始 ​

请求时间线及指标口径

为一次流式请求标记时间点:客户端发出请求 t0,服务端接受 t1,Prefill 开始 t2,客户端收到首个输出 token t3,收到最后一个 token tn。若输出 N 个 token,则客户端口径下:

TTFT=t3−t0,E2E=tn−t0ITLi=ti−ti−1(i≥2),TPOT=E2E−TTFTN−1(N>1)
  • TTFT 包含网络、排队、tokenize、Prefill 与首 token 调度,不等于纯 Prefill Kernel 时间;
  • ITL 是相邻 token 的间隔,描述流式输出的卡顿;它的尾部可能由一次调度抖动或抢占造成;
  • TPOT 先在每个请求内部对生成阶段取平均,再对请求分布求分位数;它和 ITL 的样本单位不同;
  • E2E 是完整回答的等待时间,必须写明是否包含客户端限流等待。
指标回答的问题常见误用
P50 TTFT典型用户多久见到首字?只看 P50,忽略排队长尾
P99 TTFT高峰时首字是否仍可接受?把网络或客户端排队混入服务端时间
P99 ITL / TPOT长尾生成是否卡顿?把 ITL 与 TPOT 当成同一个统计量
P99 E2E完整回答多久结束?输出长度分布不同却直接比较
成功率 / 超时率服务是否真的交付结果?只统计成功请求,造成幸存者偏差
吞吐 / Goodput做了多少工作 / 有多少工作满足 SLO?用 raw throughput 冒充有效容量

给定请求级判据:

pass(r)=1{success(r), TTFTr≤800ms, TPOTr≤100ms, E2Er≤15s}

则 Goodput 可以定义为:测量窗口内满足上述判据的输出 token 总数除以窗口时长,或以 req/s 表示的有效完成请求率。本章表格中的 request_goodput 使用后者;vllm bench serve 的判据是 ttft:800,tpot:100,e2el:15000。

200 个样本的 P99 只由约 2 条请求决定

主实验每个闭环节点 200 prompts,P99 名义上由最慢的约 2 条请求决定;开环节点只有 120 prompts,P99 更接近“最慢一两条”的观测。不要把 P99 当成精确到毫秒的物理常数。本章同时报告 P50/P95/P99,并把 800 ms 当作工程阈值,而不是自然定律。

7.3 三种“并发”:Open-loop λ、Closed-loop C、Engine Batch B ​

三种负载生成方式与 batch 的区别

7.3.1 Open-loop:外部独立到达 ​

Open-loop 用到达率 λ(req/s)描述负载:无论服务器是否忙碌,新请求仍按某个随机过程到达。它适合研究积压、尾延迟、过载与失败。若到达间隔服从指数分布,就是 Poisson 到达;本章 DES 与 vLLM --request-rate 都使用这一族负载。

7.3.2 Closed-loop:固定数量客户端循环提交 ​

Closed-loop 预先放置 C 个客户端,每个客户端完成上一请求后再提交下一请求。它适合研究“固定并发用户”下的响应时间与吞吐,但吞吐会反过来控制到达速度,拥塞时天然产生背压。C 是客户端数量上限,不是 GPU 每步执行的序列数。

7.3.3 Engine Batch:每一步真正上 GPU 的序列数 ​

一个 Decode Step 的 Batch Size B,是该步实际参与模型计算的序列数;它受 max_num_seqs、KV 可用 block、调度策略、Prefill 与 Decode 混排共同限制。系统可以处在三种状态:客户端/网关等待、引擎 waiting queue、引擎 running batch。在线用户数是这三处的总和,B 只是最后一处。

真机数据直接展示了这个差异:

闭环节点running_peakwaiting_peak说明
C=484822客户端并发 48,但引擎内部仍可能出现等待
C=64(OSL=512 压力)6445max_num_seqs=64 被顶满,KV 压力同时出现
C=966469客户端并发 96,但 GPU 每步最多运行 64 条

因此,“我开了 96 个并发客户端”不能推出“GPU 每步算了 96 条序列”,更不能推出“系统能稳定服务 96 个用户”。batch size ≠ 在线用户数 是本章的必考结论。

7.3.4 工作负载必须写成一个契约 ​

维度本章取值为什么必须记录
输入长度 ISL256决定 Prefill 计算量与 KV 初始占用
输出长度 OSL128(压力实验 512)决定 Decode 步数与 KV 增长
到达过程Closed-loop C;Open-loop Poisson λ两种负载的“并发”含义不同
采样ignore_eos、temperature=0、seed=42避免生成长度随机变化污染对比
样本量200 / 120 / 160 promptsP99 的尾部稳定性依赖样本量
前缀复用vLLM 默认开启 prefix caching未显式关闭;低负载 TTFT 可能被缓存命中压低
失败与超时failed、超时、SLO 未通过分别记录不能只统计成功请求
版本模型、精度、ROCm、vLLM、容器镜像换任一版本都可能改变服务时间

7.4 排队论:为什么 P99 先于吞吐崩溃 ​

7.4.1 Little's Law 是一条守恒关系 ​

对处于稳定状态、口径一致的系统:

L=λW

其中 L 是系统中平均在途请求数,λ 是实际完成吞吐率(稳态时等于长期到达率),W 是平均端到端停留时间。若系统持续超载,队列不断增长,就不存在上述意义的稳定平均 L;此时不能用 offered RPS 代替稳态吞吐。

7.4.2 M/M/1 的尾延迟拐点 ​

考虑单服务台、Poisson 到达、指数服务时间、FCFS 的抽象模型。令 ρ=λ/μ<1,则:

E[W]=1μ−λ,P99(W)=−ln⁡(0.01)μ−λ

取 μ=8 req/s 做一个纯数学示例:

到达率 λ利用率 ρ平均响应时间P99(M/M/1)
4 req/s50%250 ms1.15 s
6 req/s75%500 ms2.30 s
7 req/s87.5%1,000 ms4.61 s

从 6 到 7 req/s,吞吐只增加约 17%,P99 却翻倍。这个表说明的是排队系统的形状,不是本章这张卡的容量。LLM serving 至少还有四个偏离 M/M/1 的地方:服务时间不是指数分布、请求会批量调度、Prefill 与 Decode 会互相干扰、KV 不足会触发抢占与重算。因此本章用 DES 取代简单闭合式,而不是把 M/M/1 的 8 req/s 当成设备上限。

7.5 引擎机制:Continuous Batching、KV 与 goodput ​

LLM 服务路径:到达、排队、Prefill、Decode 与 KV

7.5.1 从静态 batch 到 Continuous Batching ​

静态 batch 等一整批请求凑齐后一起开始,必须等最慢的请求结束才能释放批次;短请求会留下空洞。Continuous Batching 在每个 Decode Step 重新检查 waiting queue,把已完成的序列移出、把新请求加入。它提高了 GPU 利用率,但也让“用户并发”“引擎 batch”“KV 占用”三者不再同步变化。

7.5.2 KV 池是另一条硬边界 ​

对 Qwen3-4B,bf16 下每个 token 的 KV 字节数为:

KV bytes/token=2×L×Hkv×dhead×2=2×36×8×128×2=147,456 B/token=144 KiB/token

vLLM 启动日志给出 24,464 tokens 的 KV 池,对应:

24,464×147,456 B≈3.36 GiB

这解释了为什么“并发数”不能随便开大。按 ISL+OSL 计算每个请求的 token 当量:

工作负载每请求 token24,464 tokens 可容纳的请求当量本章对应现象
ISL=256 / OSL=12838463.7C=48 时 KV 峰值 75.39%;C=96 时超过池容量
ISL=256 / OSL=51276831.9C=32 时 KV 峰值 99.87%;C=64 时 100% 并出现大量抢占

这些是按 token 数的理论上界,没有计 block 内碎片、调度空窗和暂时无法复用的页;但已经足以解释实测趋势:短 OSL 的 C=48 仍在 KV 池内,长 OSL 的 C=32 已经贴顶。

7.5.3 抢占与重算 ​

当 running 请求继续生成、但没有空闲 KV block 时,vLLM 可以抢占请求。recompute 会释放受害者的 KV,把它放回 waiting queue,之后重新 Prefill;swap 则把 KV 换出到 host。被抢占请求已经生成的 token 仍在,但它的后续 ITL/TPOT 会被重算拉长。OSL=512、C=64 的 165 次抢占就是这条路径的直接证据。

7.5.4 为什么要报告 goodput ​

Raw throughput 只问“做了多少”,goodput 问“有多少满足 SLO”。本章的 goodput 峰值出现在 C=64(11.673 req/s),raw throughput 峰值出现在 C=96(13.755 req/s),但 C=96 的 goodput 只有 2.476 req/s。若只报告吞吐,会把一个已经失去服务意义的运行点误判为“容量更大”。

7.6 DES:把服务时间、KV 与调度放进一个可校准模型 ​

7.6.1 输入契约 ​

DES 实现在 code/part1-modeling/chapter7/simulate_queue.py,输入分为四块:

  1. 到达:Open-loop 用 Poisson 间隔 Exp(λ);Closed-loop 用 C 个客户端,完成一个再提交下一个;
  2. 请求形状:ISL=256、OSL=128;压力实验 OSL=512;
  3. 服务时间:由 C=1/2/4/8 真机校准得到的 Prefill 与 Decode 公式;
  4. 资源上限:max_num_seqs=64、KV 池 24,464 tokens、16-token block、RECOMPUTE 抢占。

本章的 DES 是固定长度契约,不是真实 trace 的三分布采样:ISL/OSL 固定,只让到达间隔随机。这样做的目的是先让服务时间、KV 与调度误差可解释;如果直接把长短混合分布丢进来,服务模型的偏差和负载分布的偏差会缠在一起。扩展到真实 trace 时,应在到达堆中同时采样 ISL ~ F_in、OSL ~ F_out,重新校准服务模型,并重新开一份 holdout;不能把固定长度下的拐点直接外推到长短混合负载。

7.6.2 服务时间模型 ​

fit_service_model.py 只用校准集 C=1/2/4/8,先比较两个 Prefill 候选,再拟合 Decode:

tprefill(B)=17.9093+19.4696B [ms]tdecode(B)=13.8927⋅max(B,1)0.062544 [ms]

Prefill 候选的校准 RMSE:

候选形式校准 RMSE
v1p0 + p1·log2(B)12.554 ms
v2p0 + p1·B3.294 ms

线性模型的误差更小,因此 v2 选择线性。这个选择只使用 C=1/2/4/8,不使用任何留出点。

7.6.3 仿真循环 ​

每个事件步大致执行:

  1. 释放在当前时刻到达的请求,按 FCFS 进入 waiting queue;
  2. 在 running + prefill < max_num_seqs 且 KV block 足够时接纳请求;
  3. 以 t_prefill(B_p) + t_decode(B_r) 推进一个引擎迭代;
  4. 为 running 请求各生成一个 token,更新 KV 占用与完成状态;
  5. 若下一个 token 需要的新 block 不足,按 RECOMPUTE 抢占最近接纳的 running 请求;
  6. 每 50 ms 记录 waiting / prefill / running / batch / KV / preemption 轨迹。

7.6.4 明确不建模的内容 ​

DES 不模拟 kernel 级 roofline、prefix cache 命中、chunked-prefill token budget、CUDA graph replay、CPU 调度、网络与 tokenizer 时间,也不是 vLLM victim policy 的逐位复制。它抢占“最近接纳”的请求,属于 RECOMPUTE 家族,但不是 vLLM 的精确策略。把这些限制写进模型说明,比事后用误差去“补参数”更重要。

7.6.5 v1 的失败与 holdout 纪律 ​

v1 用 log2(B) 拟合 Prefill,在 C=1/2/4/8 上看似可用;一旦外推到 C=16/32/64,误差迅速放大:

C真机 TTFT P99v1 预测相对误差处置
16316.73 ms204.45 ms+54.92%已烧掉
32627.86 ms249.86 ms+151.28%已烧掉
641,286.09 ms295.27 ms+335.56%已烧掉

这组 C=16/32/64 数据在 v1 模型选择之后才被使用,因此对 v1 是已烧掉的留出集。v2 不能拿它们重新选模型,也不能把它们当作“v2 的验证点”。v2 在 C=1/2/4/8 上重新选择线性 Prefill,冻结后才打开全新的 C=12/24/48/96 留出集。

事后用 v2 回算 C=16/32/64,误差会缩小到 -3.85% / -2.04% / +1.75%。这只能作为诊断,不能写成“v2 通过了这三个点”;那三个点已经被 v1 消耗掉了。

7.6.6 从固定长度扩展到三分布 trace ​

真实在线负载至少有三个分布:到达间隔、输入长度、输出目标长度。本章把后两者固定为 256/128,是为了让服务时间误差与排队误差可以分开归因;这不代表固定长度模型可以直接套到真实 trace。扩展到三分布时,至少要改五处:

  1. 到达:把 Poisson 生成器换成外部 trace 的 t_i,或拟合经验到达间隔分布;Burst 与自相似到达必须单独保留,不能被平均值抹平;
  2. 输入长度:从 F_in 采样 ISL_i,并按长度分桶重新拟合 Prefill;17.9093 + 19.4696B 只对 ISL=256 成立;
  3. 输出长度:从 F_out 采样 OSL_i,用实际生成长度而非固定 128 计算 TPOT 与 KV 增长;
  4. KV 检查:每个请求按 ISL_i + OSL_i 预留 token,长请求会先触发 max_model_len 拒绝或抢占;
  5. 重新留出:用新的 trace 重新冻结预测并开 holdout,不能拿本章的 C=48 拐点去代表长短混合负载。

这也解释了为什么本章不把 “C=48 首次失守” 写成普遍容量:它绑定的是 ISL=256 / OSL=128 / Poisson 或固定 C 的契约。省略这三个分布,容量数字就没有可比性。

7.7 DES 结果:1→96 的曲线、拐点与排队占比 ​

7.7.1 闭环 DES 曲线 ​

下表来自 results/des_closed_v2.json,服务模型与 KV 参数均与 7.6 节一致:

CTTFT P99 (ms)TPOT P99 (ms)达成 req/sgoodput req/sSLO 通过率排队占比平均 batchKV 峰值
137.3813.890.5550.555100%0.0%0.981.57%
256.8514.511.0531.053100%0.0%1.943.14%
495.7915.151.9801.980100%0.0%3.816.28%
8173.6715.823.6653.665100%0.0%7.3612.56%
12251.5416.234.9624.962100%0.0%10.5118.84%
16329.4216.526.0466.046100%0.0%13.3825.11%
24485.1816.957.7507.750100%0.0%18.4437.67%
32640.9417.269.7899.789100%0.0%22.7850.23%
48952.4517.7010.6780.5345%0.0%29.8775.34%
641,263.9624.7812.3650.7736.25%1.3%35.5698.89%
964,853.5524.7812.3650.00%32.39%35.5698.89%

这张表里有两个必须分开看的现象。第一,TTFT P99 在 C=32 到 C=48 之间越过 800 ms;第二,DES 的 closed-loop goodput 在 C=48 之后急剧塌陷,但真机的 goodput 并没有塌得这么快。后者不是“真机更好”,而是 DES 的逐请求服务时间过于确定:同一批请求几乎同时完成 Prefill,TTFT 分布缺少真机那种 p50 与 p99 的离散性,于是按请求判定的通过率被低估。这个误差在第 7.9 节单独归因。

表中 C=16/32/64 的 DES 点没有干净的 v2 holdout 对照:这三个并发属于 v1 burned 区间。v2 的干净验收点只有 C=12/24/48/96;C=64 的真机 goodput 峰值来自 v1 阶段的真实测量,只作为测量使用,不参与 v2 模型选择。

P99 随并发增长:TTFT 由排队主导,TPOT 由 decode 调度主导

7.7.2 拐点对齐 ​

P99 拐点与 goodput 塌陷

把 DES 预测与真机 holdout 放在同一张表:

C真机 TTFT P99DES 预测相对误差真机 TPOT P99DES 预测真机 E2E P99真机 goodput
12245.11 ms251.54 ms-2.56%18.67 ms16.23 ms2,444.77 ms4.851
24467.80 ms485.18 ms-3.58%21.18 ms16.95 ms2,788.89 ms8.219
48951.50 ms952.45 ms-0.10%28.08 ms17.70 ms4,120.58 ms10.998
964,762.77 ms4,853.55 ms-1.87%31.70 ms24.78 ms8,525.19 ms2.476

四个留出点的 TTFT P99 MAPE = 2.03%。真机在 C=32 仍通过(TTFT P99 627.86 ms),C=48 首次失守(951.50 ms);DES 也在 C=32 给 640.94 ms、C=48 给 952.45 ms,拐点落在同一对相邻扫描点之间。就“何时开始排队雪崩”这个问题,线性 Prefill + 有限 KV + 固定 batch 上限的 DES 已经足够好。

但 TPOT P99 MAPE = 31.64%,E2E P99 MAPE = 14.74%。TTFT 对齐得好,不代表 decode 对齐得好;这正是下一节误差归因的入口。

7.7.3 开环:到达率扫描与排队占比 ​

开环真机每个点 120 prompts;DES 每个点 600 requests。下表把两条曲线并排:

offered λ (req/s)真机达成真机 goodput真机 TTFT P99DES TTFT P99真机 P99 排队占比(估计)DES 排队占比
10.9850.98570.28 ms88.42 ms0.00%0.31%
21.9391.93975.72 ms97.61 ms0.24%0.41%
43.7553.75596.53 ms107.58 ms1.06%0.46%
65.4475.447104.05 ms120.24 ms1.30%0.51%
87.0097.009108.58 ms132.54 ms1.38%0.54%
108.4468.446114.88 ms142.51 ms1.47%0.57%
129.7569.756128.26 ms555.01 ms1.79%1.00%
1611.87511.875174.73 ms2,490.59 ms2.68%15.67%
2012.68911.2091,001.34 ms7,962.98 ms21.69%49.51%
2413.2197.0501,525.44 ms12,002.49 ms29.66%62.11%

开环 λ 扫描:吞吐平台、goodput 回落与排队占比

真机的 raw throughput 在 λ≈20–24 时进入平台,但 offered load 继续增加只转化为排队时间;到 λ=24,达成吞吐 13.219 req/s,goodput 只剩 7.050 req/s。DES 捕捉到了“平台 + 排队”的定性形状,但在过载区明显更悲观:λ=20 时 DES 的 TTFT P99 是 7,962.98 ms,真机是 1,001.34 ms;λ=24 时 DES 的排队占比 62.11%,真机尾部估计为 29.66%。这不是可以靠调一个参数修掉的偏差,后文会把它归因于 FCFS、chunked prefill 与调度重叠的缺失。

真机的“排队占比”是尾部估计:以低负载 TTFT 为基线,把新增 TTFT 视为服务端排队,再除以 E2E P99。它不是逐请求的 trace 事件;DES 的排队占比则来自逐请求 queue_wait / E2E。

7.7.4 动画:把逐请求时间线放出来 ​

打开 DES 驱动的排队动画

动画数据来自 results/des_animation_trace.json,不是手写数字:λ=24、600 条请求、609 个轨迹步;最大 waiting=186,最大 running=64,最大 KV=23,856 / 24,464 tokens。600 条请求中有 536 条至少违反一项 SLO,测量窗口内 SLO 通过率为 0%。它展示的顺序是 到达 → waiting queue → Continuous Batching → KV 水位上升 → 抢占/重算 → SLA 突破,可以直接对照 7.7.3 的 λ=24 行阅读。

7.8 真机实验:RX 9070 XT 上的 vLLM 服务 ​

7.8.1 环境与服务启动 ​

宿主机有两张 AMD GPU;本章只使用 GPU[1] = RX 9070 XT。容器内用 HIP_VISIBLE_DEVICES=1 把它重映射为 device 0,避免误用 GPU[0] = RX 7900 XTX。服务启动命令的核心部分如下(--group-add 991 是本机 render 组 gid,换机器时按实际 gid 调整):

bash
docker run -d --name ch7-vllm \
  --device=/dev/kfd --device=/dev/dri \
  --group-add video --group-add 991 \
  -e HIP_VISIBLE_DEVICES=1 \
  -e VLLM_ROCM_USE_AITER=0 \
  -v /mnt/public/models:/models:ro \
  -v /tmp/ch7-vllm:/results \
  -p 18000:8000 \
  rocm/vllm:rocm10.1.0_ubuntu24.04_py3.14-pytorch_2.13.0_vllm-0.29.0 \
  vllm serve /models/Qwen3-4B \
    --served-model-name qwen3-4b \
    --host 0.0.0.0 --port 8000 \
    --gpu-memory-utilization 0.90 \
    --max-model-len 4096 \
    --max-num-seqs 64

启动日志中的关键账本:

项目观测值
模型加载占用7.56 GiB(权重 + 非 torch 实际占用 8.65 GiB)
KV Cache24,464 tokens / 3.36 GiB
4,096-token 请求最大并发5.97x
CUDA graph 池1.62 GiB
有效 GPU 利用率参数0.90(等价于关闭 graph profiling 时的 0.7965)

服务端同时启用了 enable_prefix_caching=True 与 enable_chunked_prefill=True 的默认行为。本章没有显式关闭 prefix caching;random 数据集下仍可能命中少量公共前缀,因此这里的 TTFT 是服务端端到端观测,不是纯 Prefill kernel 时间。这个限制不会改变“排队拐点”的结论,但会提醒读者:不要把本章的 37.29 ms 直接当成另一个模型的 Prefill 下限。

7.8.2 压测命令 ​

run_bench.py 调用容器内的 vllm bench serve,并把结果、/metrics 采样与日志写回仓库。单点命令的核心参数是:

bash
vllm bench serve \
  --backend openai \
  --base-url http://127.0.0.1:8000 \
  --endpoint /v1/completions \
  --model qwen3-4b \
  --tokenizer /models/Qwen3-4B \
  --dataset-name random \
  --random-input-len 256 --random-output-len 128 \
  --num-prompts 200 --num-warmups 2 \
  --seed 42 --ignore-eos --temperature 0 \
  --max-concurrency 48 --request-rate inf \
  --percentile-metrics ttft,tpot,itl,e2el \
  --metric-percentiles 50,95,99 \
  --goodput ttft:800 tpot:100 e2el:15000 \
  --save-result --save-detailed

闭环节点用 --max-concurrency C --request-rate inf;开环节点用 --request-rate λ --burstiness 1。/metrics 每 250 ms 采样一次,记录 num_requests_running、num_requests_waiting、kv_cache_usage_perc、num_preemptions_total 等指标。

7.8.3 校准集:C=1/2/4/8 ​

CTTFT P50TTFT P95TTFT P99TPOT P99E2E P99达成 req/s失败
132.95 ms34.55 ms37.29 ms14.13 ms1,828.89 ms0.5480
261.60 ms70.16 ms71.19 ms14.32 ms1,881.84 ms1.0650
496.41 ms99.33 ms100.07 ms15.17 ms1,990.85 ms2.0120
8172.72 ms175.22 ms176.11 ms16.89 ms2,217.31 ms3.6120

这四点看起来非常“规整”:TTFT 随 C 近似线性,TPOT 从 14.13 ms 缓慢升到 16.89 ms。也正因为太规整,v1 的 log2 拟合在低并发上残差不大,却在 C=64 外推时崩掉。校准集只能证明“局部可拟合”,不能证明“外推可信”。

7.8.4 全新 holdout:C=12/24/48/96 ​

CTTFT P99TPOT P99ITL P99E2E P99达成 req/sgoodput失败抢占KV 峰值running/waiting 峰值
12245.11 ms18.67 ms20.20 ms2,444.77 ms4.8514.8510018.85%12 / 0
24467.80 ms21.18 ms50.47 ms2,788.89 ms8.2198.2190037.70%24 / 14
48951.50 ms28.08 ms156.55 ms4,120.58 ms11.89010.9980075.39%48 / 22
964,762.77 ms31.70 ms158.70 ms8,525.19 ms13.7552.4760399.48%64 / 69

四个点全部 failed=0。这很重要:本章的“失败”不是 HTTP 错误或超时崩溃,而是请求完成了、但没满足 SLO。C=48 的 TTFT P99 已经越过 800 ms,却仍有 10.998 / 11.890 = 92.5% 的请求通过;C=96 的 goodput 只有 2.476 / 13.755 = 18.0%。P99 失守不等于所有请求都失败,goodput 才能表达“有效产出的比例”。

换算成未满足 SLA 判据的请求比例:C=12 与 C=24 都是 0%,C=48 约 7.5%,C=96 约 82.0%。这三档差异正是“P99 尾部失守”与“大面积失效”的区别;只看 P99 一条线,会把 C=48 与 C=96 误判成同一种状态。

7.8.5 拐点、最大承载与安全水位 ​

指标结果说明
最后 SLO 通过点C=32TTFT P99 627.86 ms;TPOT P99 23.88 ms;E2E P99 3,282.76 ms;9.574 req/s
首次失守点C=48TTFT P99 951.50 ms;TPOT P99 28.08 ms;E2E P99 4,120.58 ms;goodput 10.998 req/s
最大 raw throughputC=9613.755 req/s,但 goodput 2.476 req/s
最大 goodputC=6411.673 req/s,raw 13.733 req/s;TTFT P99 1,286.09 ms,已不满足 SLO
80% 安全水位C=257.659 req/s,按最后通过点 C=32 的 80% 计

这里的 C=16/32/64 真机点属于 v1 阶段的测量:它们不能用于 v2 模型选择,但仍然是有效的真机测量,因此可以用于定位业务水位与 goodput 峰值。v2 的干净 holdout(C=12/24/48/96)只用于验证 DES 预测。两类用途必须分开记录。

工程结论不是“C=96 吞吐最高,所以选 C=96”,也不是“C=64 goodput 最高,所以选 C=64”。C=64 的 goodput 高,是因为它完成了更多请求,但它的 TTFT P99 已经 1,286.09 ms;这是一个吞吐已经越过 SLO 边界的运行点。可上线候选是 C=32 附近的 9.574 req/s,再按突发与留出验证打折到 7.659 req/s。

7.8.6 OSL=512:把 KV 压力单独打开 ​

CKV 峰值抢占次数goodputTTFT P99TPOT P99E2E P99
3299.87%52.731628.82 ms22.91 ms11,778.39 ms
64100.00%1650.6538,903.70 ms46.55 ms25,080.94 ms

OSL=512 时 KV 100%、抢占与尾延迟同时爆发

这组实验把“KV 不足”从猜测变成了证据。OSL=512 时每请求 token 当量为 768,24,464 tokens 只够约 31.9 条;C=32 已经贴顶(99.87%、5 次抢占),C=64 必然 100% 并触发 165 次抢占。C=64 的 raw throughput 仍有 3.072 req/s,但 goodput 只剩 0.653 req/s,E2E P99 达到 25.08 s。短 OSL 下 C=96 的尾延迟主要来自 batch/调度/算力;长 OSL 下,KV 与重算成为主导机制。两者不能混为一谈。

7.9 误差归因:哪些已经解释,哪些仍然 unresolved ​

现象证据候选机制状态
TTFT P99 四个 holdout 点 MAPE 2.03%C=12/24/48/96 预测与实测几乎重合线性 Prefill + 有限 KV + batch 上限已经抓住排队增长已归因,模型可用
TPOT P99 低估 31.64%C=48 实测 28.08 ms vs 预测 17.70 ms(+58.64%),但 C=48 无抢占、KV 75.39%chunked prefill 与 decode 混排、调度开销、batch 组成变化、确定性服务时间缺少尾部分散部分归因
C=96 TPOT 仍低估实测 31.70 ms vs 预测 24.78 ms;KV 99.48%,抢占 3 次在 C=48 的调度误差之上,再叠加 KV 压力与重算部分归因,KV 贡献有证据
DES closed-loop goodput 在 C=48 塌到 0.534真机 goodput 10.998,真机 TTFT P50 458.38 ms、P99 951.50 ms;DES 把同一批请求的服务时间算得过于一致DES 缺少真机的逐请求服务时间分散,按请求判定的通过率被低估模型限制,不可用于 goodput 决策
开环 DES 在 λ=20/24 明显更悲观真机 TTFT P99 1,001.34 / 1,525.44 ms;DES 7,962.98 / 12,002.49 ms严格 FCFS、没有 chunked prefill 与调度重叠、过载时的批处理策略不同已定位为结构性高估
OSL=512、C=64 的 goodput 塌陷KV 100%、165 次抢占、E2E P99 25.08 sKV block 耗尽 → RECOMPUTE → 重算拖长 ITL/TPOT已归因
C=96 的 batch 上限running 峰值 64、waiting 峰值 69;max_num_seqs=64客户端并发不等于 engine batch;超出部分只能在 waiting queue已归因
raw throughput 在 C=64→C=96 几乎不再增长13.733 → 13.755 req/s;TPOT P99 31.65 → 31.70 ms单卡算力/带宽接近饱和,新增并发主要转成排队与 KV 压力;精确的 compute-bound 与 memory-bound 分界需要 kernel profile部分归因
绝对毫秒数的跨机器差异单卡、单次运行、未做多轮重复GPU 时钟/功耗、温度、后台负载、prefix cache 命中、网络与 tokenizerunresolved,不外推

单卡算力饱和的证据不是某个漂亮的 kernel 利用率数字,而是 raw throughput 在 C=64 到 C=96 几乎不再增长,同时 TPOT P99 仍在上升。本章没有做 rocprof-compute 级别的 kernel profile,因此只能把它标成“部分归因”:可以确定新增并发没有再转化为有效产出,不能确定瓶颈具体落在 matrix core、HBM 还是调度间隙。

这里最重要的方法论不是“把误差拟合到 0”,而是承认模型能回答什么、不能回答什么。本章的 DES 可以回答“TTFT P99 何时越过 SLO、排队占比如何增长”;它不能回答“这个配置的 goodput 一定是多少”,也不能回答“换一个模型或换一张卡会怎样”。后两者必须重新测量。

不要在 holdout 上调参

v1 的 C=16/32/64 已经被用于发现 log2 外推失败;它们不再是干净的留出集。v2 如果回头用这四个点选模型、改 gamma 或调抢占策略,就会把“验证”变成“训练”。本章保留了 v1 的失败记录,也保留了 v2 的全新 C=12/24/48/96,目的是让读者看到:负结果和 burned holdout 也是实验资产。

7.10 工程决策与复现清单 ​

7.10.1 本章的容量结论 ​

在本章冻结契约下,可以写出这样的结论句:

在 Qwen3-4B bf16、RX 9070 XT 15.92 GiB、vLLM 0.29.1、ISL=256/OSL=128、max-num-seqs=64 的条件下,闭环保留扫描的最后一个 SLO 通过点是 C=32,对应 9.574 req/s;C=48 首次在 TTFT P99 上失守(951.50 ms)。按 80% 安全系数,运行水位暂定 C=25 / 7.659 req/s。C=64 的 goodput 峰值 11.673 req/s 与 C=96 的 raw 峰值 13.755 req/s 都不是可上线的 SLO 安全点。超过本契约的模型、上下文长度或框架版本,必须重新校准。

这个结论同时给出三件事:最大承载(raw 约 13.755 req/s)、有效承载(goodput 峰值 11.673 req/s)、安全水位(7.659 req/s)。三者不是同一个数,报告时必须写清楚用的是哪一个。

7.10.2 实验矩阵与产物 ​

实验规模产物
真机校准C=1/2/4/8,200 prompts/点results/calibration/calibration_c*.json、results/service_model.json
真机 holdout v2C=12/24/48/96,200 prompts/点results/holdout_v2/summary.json
真机开环λ=1…24,120 prompts/点results/open_loop/summary_all.json
KV 压力OSL=512,C=32/64,160 prompts/点results/pressure/summary.json
DES 闭环C=1…96,200 requests/点results/des_closed_v2.json
DES 开环λ=1…24,600 requests/点results/des_open.json
动画λ=24,600 requestsresults/des_animation_trace.json → animation.html
汇总分析全部真实与 DES 结果results/analysis.json

未执行的扩展包括 C=128/256/512;它们不应被写成“已完成”。如果后续要补,必须沿用同一契约,并在测量前冻结预测。

7.10.3 复现命令 ​

bash
cd code/part1-modeling/chapter7

# 1) 真机校准与 holdout(服务已在 ch7-vllm:18000 上运行)
python3 run_bench.py --mode closed --points 1,2,4,8 \
  --num-prompts 200 --out-dir calibration --prefix calibration
python3 run_bench.py --mode closed --points 12,24,48,96 \
  --num-prompts 200 --out-dir holdout_v2 --prefix holdout_v2

# 2) 拟合服务模型(只读 calibration)
python3 fit_service_model.py

# 3) DES:闭环、开环与动画 trace
python3 simulate_queue.py --mode closed \
  --concurrency 1,2,4,8,12,16,24,32,48,64,96 \
  --num-requests 200 --output des_closed_v2.json
python3 simulate_queue.py --mode open \
  --rates 1,2,4,6,8,10,12,16,20,24 \
  --num-requests 600 --output des_open.json \
  --trace-run 24 --trace-requests 600

# 4) 汇总、作图、动画
python3 analyze_results.py
python3 figs/make_figs.py
python3 figs/make_animation.py

7.10.4 验收清单 ​

交付物验收问题本章证据
动画演示数据是否来自 DES run,而不是手写数字?des_animation_trace.json 嵌入 animation.html;609 步、600 请求
P99 曲线 + 拐点 + goodput是否同时报告 raw、goodput 与 SLO?7.7/7.8 表;C=48 首次失守,C=96 raw 峰值但 goodput 2.476
实测分位表(含失败/超时)是否记录 failed、超时与 goodput?7.8.4 表;四个 holdout 点 failed=0,SLO 失守逐项标注
拐点对齐对比是否给出残差或相对误差?TTFT MAPE 2.03%;逐点相对误差表
误差归因记录是否区分已归因与 unresolved?7.9 表;KV、batch 上限、调度误差、goodput 模型限制
复现版本、契约、命令是否齐全?7.8.1/7.10.2/7.10.3

本章小结 ​

在线 LLM 服务的核心问题不是“最多能一次塞进多少序列”,而是在给定负载分布与延迟约束下,系统能够长期稳定交付多少有效工作。本章用一条真机曲线回答了这个问题:RX 9070 XT 上的 Qwen3-4B 服务在 C=32 时仍有 9.574 req/s 的 SLO-safe 吞吐,C=48 时 TTFT P99 首次越过 800 ms;raw throughput 可以继续涨到 13.755 req/s,但 C=96 的 goodput 只剩 2.476 req/s。

方法上,本章留下了四个可复用的习惯:

  1. 先写契约,再测数字:模型、精度、ISL/OSL、到达过程、版本、样本量缺一不可;
  2. 分开三种并发:Open-loop λ、Closed-loop C、Engine Batch B,绝不互相替代;
  3. 预测在测量前冻结:校准集只用于选模型,holdout 只用于裁决;burned holdout 不能再当验证集;
  4. 误差要归因,不要硬拟合:TTFT 对齐不等于 TPOT 对齐,P99 对齐不等于 goodput 对齐。

第 8 章将在这个基础上继续问:为什么不同推理框架会给出不同的 P99 曲线?当调度器、KV 管理或框架版本变化时,本章的哪些结论仍然成立,哪些必须重新校准?

练习与思考 ​

  1. 若某个服务在 C=32 时吞吐 10 req/s、P99 TTFT 600 ms,在 C=48 时吞吐 12 req/s、P99 TTFT 1,000 ms。业务 SLO 是 P99 TTFT ≤ 800 ms。你会把运行水位设在哪里?为什么不能直接选 C=48?
  2. 用本章的 Qwen3-4B KV 公式,计算 ISL=1,024、OSL=256 时 24,464 tokens 池大约能容纳多少条请求。若 max_num_seqs 仍设为 64,会发生什么?
  3. 真机 C=48 的 TPOT P99 是 28.08 ms,DES 预测 17.70 ms,但该点没有抢占、KV 只有 75.39%。请列出至少三种可能的误差来源,并设计一个实验区分它们。
  4. 为什么 C=96 的 running_peak 恰好是 64?如果只看到“客户端并发 96”,你会怎样向同事解释 batch size ≠ 在线用户数?
  5. v1 的 C=16/32/64 已经 burned。若有人建议“用这四个点重新拟合 v2 的 gamma 会更好”,你会如何拒绝?请写出一个不污染 holdout 的替代实验方案。
  6. 开环 λ=24 时真机 goodput 7.050 req/s,DES 的 TTFT P99 却高达 12,002.49 ms。请解释为什么 DES 在过载区会比真机更悲观,并说明这会不会影响“C=48 首次失守”的结论。

延伸阅读 ​

阅读路径:第 3 章 KV 账本 → 本章容量与 SLA → 第 8 章跨框架 Profile 与配置决策。