跳转到正文

第 8 章 推理框架的系统取舍、Profile 与性能分析 ​

⚠️ Alpha内测版本警告

此为早期内部构建版本,尚不完整且可能存在错误,欢迎大家提Issue反馈问题或建议。

本章导读 ​

本章是第 1 篇的收口章:用前面建立的 Roofline、显存、量化与排队模型,解释不同推理框架在同一场景下的差异,并据此做出框架与配置选择。

教学目标 ​

  • 能说明框架级取舍(显存碎片 vs 吞吐、调度开销 vs 批处理收益);
  • 能用 Profiler 与框架内置指标观察 decode 阶段的 kernel 时间占比;
  • 能用模拟器预测配置空间中最可能满足 SLA 的配置,以及"失败模式"(显存先爆还是延迟先爆);
  • 能用前面各章的模型解释框架差异,并注明比较中的不等价项。

内容梗概 ​

框架级系统取舍 ​

理解显存碎片与吞吐、调度开销与批处理收益之间的权衡。

框架级 Profile 方法 ​

用 Profiler 与框架内置指标观察 decode 阶段的 kernel 时间占比。

串起前面的模型 ​

用显存(第 3 章)、量化(第 4 章)、Roofline(第 1 章)与排队(第 7 章)模型解释框架差异:为什么某些框架在低并发下延迟更好、高并发下吞吐更差。

实验设计 ​

模拟器实验 ​

给定一个 SLA 目标和一个框架配置空间(如 --gpu-memory-utilization、最大并发、是否启用量化),模拟器预测哪个配置最可能满足 SLA,并给出"失败模式"预测(显存先爆还是延迟先爆)。

真机实验(RX 9070 XT 16 GB 主线) ​

  • 在同一张卡上对比 vLLM 与 llama.cpp server(或 MIGraphX)在同一模型、同一压测条件下的 P99 和吞吐,做框架取舍的实测依据;注明模型格式、精度与调度的不等价项;
  • 用 rocprof-compute 或框架内置 metrics 看 decode 阶段的 kernel 时间占比,解释"为什么某些框架在低并发下延迟更好、高并发下吞吐更差";
  • 这是全书"预测→实测→校准→决策"闭环的收口章:学生要用前面所有章节的模型(显存、量化、Roofline、排队)来解释本章的框架差异。

闭环与交付 ​

  • 预测(测前留存):最可能满足 SLA 的配置与失败模式预测。
  • 实测(选点运行):同一模型、同一压测条件下不同框架的 P99 与吞吐实测。
  • 校准(解释误差):用前面各章模型解释框架差异,注明不等价项(模型格式、精度、调度)。
  • 决策(提交):框架选型决策 + 差异解释 + 阶段评估(预测质量检查、实测证据)。

本章小结 ​

  • 本章目前是 Alpha 阶段的内容梗概、实验设计与教学目标骨架,正式正文会在对应实验跑通后补齐。
  • 与本章相关的代码、实验配置与测量记录会放在 code/part1-modeling/chapter8/。

延伸阅读 ​

  • 待补充。