推理优化(Inference Optimization)
专题类型:主学习路线 学习目标:在质量与资源约束下解释请求等待,并比较计算执行、状态管理和调度方案。
长输入可能让首个词元迟迟无法返回,重复前缀可能被反复计算,并发增大后还可能出现排队和生成停顿。推理优化从这些请求现象出发,分别跟踪模型计算、KV Cache 和服务批次,解释时间与显存花在哪里,再判断改动是否改善目标负载。
缩短一次计算,可能仍留下排队等待;保留更多可复用前缀,也可能挤占新请求的缓存空间。理解这些取舍,才能选择适合目标负载的加速方案。
学习路线
沿下表建立请求基线,分别研究计算、生成、缓存、调度与低精度执行,最后复测组合方案。每阶段都比较减少的工作或等待与新增代价。
基准与决策从第一次比较开始使用。连续理解请求变化使用问题链,按现象查找原因使用判断手册,概念差异见术语表。
nano-vLLM贯穿请求、生成、缓存与调度的源码观察;从Task3加入Mini-SGLang,对照前缀索引、阶段调度及所选版本支持的低精度路径。两份导读按阶段阅读,具体入口列在表中。
Task2–4 的先后是学习顺序,实际服务中三者相互约束:较长的投机候选可能多占缓存和验证时间,可用块减少又会限制请求准入与批次规模。每轮执行后,接受、回退和完成事件都会改变下一轮的选择,关系见生成、缓存与调度约束图。低精度也会改变计算成本和可用容量,因此单项比较之后还需返回生成、缓存与调度复测。
模型实例是接收并执行请求的运行单元。复制完整实例可以分担请求,一个实例也可以使用多张卡协作,因此实例数不等于卡数。容量不足时,建立基线前就可能需要模型切分;两类扩展及其组合见分布式推理。
扩展与跨专题入口
关键前置按当前问题选择:估算层内计算与驻留资源时读 Part 01 · 02 大模型参数量与算力推导 和 Part 01 · 03 GPU 物理架构与内存层级;计算 KV 容量时读 Part 01 · 11 KV Cache 与显存增长;进入专家执行时先读 Part 02 · 06 MoE 路由器 与 Part 01 · 22 MoE 模型参数量计算。
计算细节按层内对象回补:Part 02 · 04 多头注意力、Part 02 · 01 RMSNorm 教程、Part 02 · 02 SwiGLU 激活。缓存需要更紧凑表示或索引时,再选择 Part 02 · ARCH-MLA MLA 与紧凑 KV 表示或 Part 02 · 34 SGLang 基数注意力。
| 遇到的问题 | 入口 | 衔接内容 |
|---|---|---|
| 不清楚层结构、注意力表示或稀疏专家语义 | 模型架构 | 确认模型计算与状态定义 |
| 不知道时间花在哪里 | 性能分析方法 | 阶段归因、轨迹与资源瓶颈 |
| 局部候选引起瓶颈转移 | 性能优化 | 比较组合与目标负载收益 |
| 需要修改分块、融合或内核 | 算子优化 | 从已定位计算进入实现 |
| 需要校准、格式转换或低比特质量分析 | 量化与压缩 | 产物与目标执行路径 |
| 单实例安排不足,需要资源拆分 | Part 02 · 39 异构 PD 与服务分层、Part 02 · INF-AFD Attention–FFN 解耦 | KV 或层间激活的跨角色交接;准备与搬运等待先比较Part 02 · INF-SERVING-OVERLAP 服务重叠与状态交接 |
| 需要专家放置、模型切分或通信分析 | 通信与并行、08 分布式推理与并行扩展 | 请求副本与模型内部并行的代价 |
| 需要跨设备放置、兼容性与资源选型 | 部署异构 | 资源与运行时约束 |
实验与项目出口
环境与安装准备见 Quickstart,输入、结果和各层验证状态见实验资产表。下表区分机制解释、专项比较与独立综合实践的职责。
| 实验层次 | 要回答的问题 | 与其他层的关系 |
|---|---|---|
| 局部机制 | 数值、执行路径、时间或容量怎样随受控改动变化? | 解释原因,为专项服务比较提供假设 |
| Part02 专项与部署比较 | 策略在真实请求中是否有效,候选证据是否足以支持部署判断? | 使用相符的模型、请求和测量协议;结论限定于该实验 |
| Part05 独立综合实践 | 自行固定工作负载和配置组合后,哪套方案满足门槛? | 独立测量;Part02 结果可提供候选来源,不是强制输入 |
