第 9.2 章 单机服务满足 SLA
⚠️ Alpha内测版本警告
此为早期内部构建版本,尚不完整且可能存在错误,欢迎大家提Issue反馈问题或建议。
本章导读
本章综合运用量化、排队与推理框架三章的模型,在单机上通过框架参数、量化与并发限制满足给定 SLA。
教学目标
- 能用显存模型预测最多能开多大的 KV Cache,用排队模型预测目标 SLA 下的最大安全并发;
- 能实测"P99 刚好不超标"的并发点,并与预测的容量上界对比;
- 能对实测拐点显著低于预测的情况归因(显存碎片 / 调度开销 / 功耗降频);
- 能在更换 prompt 长度分布后(留出验证)检查并发限制是否仍然安全。
内容梗概
SLA 目标与容量上界
给定 SLA(如 P99 < 2 s、吞吐 ≥ X tok/s),用显存上界与排队上界两者取小,给出容量上界。
实测拐点
扫描并发,找到 P99 刚好不超标的并发点,并与预测上界对比。
误差归因
分析显存碎片、调度开销与功耗降频等偏差来源。
留出验证
更换 prompt 长度分布(短输入 vs 长输入),检查之前选定的并发限制是否仍然安全。
实验设计
模拟器实验
用显存模型预测"在 16 GB / 48 GB 上最多能开多大 KV Cache",用排队模型预测"在目标 SLA 下最大安全并发是多少",两者取小,给出容量上界。
真机实验(RX 9070 XT 16 GB 主线)
- 用第 7 章的压测工具扫并发,找到 P99 刚好不超标的并发点;
- 对比模拟器预测的容量上界与实测拐点;
- 如果实测拐点远低于预测,归因:是显存碎片、还是调度开销、还是功耗降频;
- 留出验证:换一个 prompt 长度分布(短输入 vs 长输入),检查之前选的并发限制是否仍然安全。
闭环与交付(与 AI 一起设计)
- 预测(测前留存):容量上界(显存上界与排队上界取小)。
- 实测(选点运行):P99 拐点实测。
- 校准(解释误差):实测拐点与预测的偏差归因。
- 决策(提交):满足 SLA 的配置(框架参数、量化、并发限制)、预测误差与在线服务结果、决策日志。
本章小结
- 本章目前是 Alpha 阶段的内容梗概、实验设计与教学目标骨架,正式正文会在对应实验跑通后补齐。
- 与本章相关的代码、实验配置与测量记录会放在
code/part2-ai-design/chapter9-2/。
延伸阅读
- 待补充。