跳转到正文

第 9.2 章 单机服务满足 SLA ​

⚠️ Alpha内测版本警告

此为早期内部构建版本,尚不完整且可能存在错误,欢迎大家提Issue反馈问题或建议。

本章导读 ​

本章综合运用量化、排队与推理框架三章的模型,在单机上通过框架参数、量化与并发限制满足给定 SLA。

教学目标 ​

  • 能用显存模型预测最多能开多大的 KV Cache,用排队模型预测目标 SLA 下的最大安全并发;
  • 能实测"P99 刚好不超标"的并发点,并与预测的容量上界对比;
  • 能对实测拐点显著低于预测的情况归因(显存碎片 / 调度开销 / 功耗降频);
  • 能在更换 prompt 长度分布后(留出验证)检查并发限制是否仍然安全。

内容梗概 ​

SLA 目标与容量上界 ​

给定 SLA(如 P99 < 2 s、吞吐 ≥ X tok/s),用显存上界与排队上界两者取小,给出容量上界。

实测拐点 ​

扫描并发,找到 P99 刚好不超标的并发点,并与预测上界对比。

误差归因 ​

分析显存碎片、调度开销与功耗降频等偏差来源。

留出验证 ​

更换 prompt 长度分布(短输入 vs 长输入),检查之前选定的并发限制是否仍然安全。

实验设计 ​

模拟器实验 ​

用显存模型预测"在 16 GB / 48 GB 上最多能开多大 KV Cache",用排队模型预测"在目标 SLA 下最大安全并发是多少",两者取小,给出容量上界。

真机实验(RX 9070 XT 16 GB 主线) ​

  • 用第 7 章的压测工具扫并发,找到 P99 刚好不超标的并发点;
  • 对比模拟器预测的容量上界与实测拐点;
  • 如果实测拐点远低于预测,归因:是显存碎片、还是调度开销、还是功耗降频;
  • 留出验证:换一个 prompt 长度分布(短输入 vs 长输入),检查之前选的并发限制是否仍然安全。

闭环与交付(与 AI 一起设计) ​

  • 预测(测前留存):容量上界(显存上界与排队上界取小)。
  • 实测(选点运行):P99 拐点实测。
  • 校准(解释误差):实测拐点与预测的偏差归因。
  • 决策(提交):满足 SLA 的配置(框架参数、量化、并发限制)、预测误差与在线服务结果、决策日志。

本章小结 ​

  • 本章目前是 Alpha 阶段的内容梗概、实验设计与教学目标骨架,正式正文会在对应实验跑通后补齐。
  • 与本章相关的代码、实验配置与测量记录会放在 code/part2-ai-design/chapter9-2/。

延伸阅读 ​

  • 待补充。