Skip to content

Group 3.4: Inference Optimization | 3.4: 推理优化

本组聚焦推理侧的显存与多租户优化,先看 Quantization,再看 Multi-LoRA。

Group Overview | 组概览

这一组把推理侧的压缩和多租户优化串起来,是从 Attention 主线继续落到工程优化的延伸。阅读顺序和组内资产见下表,先看 10,再进入 11。

Group Asset Overview | 组内资产总览

职责作用定位
10理解量化在推理侧的收益主线页
11处理多 LoRA 的共享与切换主线页

Learning Path | 学习路径

  • 先看 10 -> 11,把推理优化和多租户场景串起来。

Next Steps | 后续衔接

  • 看完本组后,继续进入 3.5,把推理优化接到调试、内存模型和项目收口上。

Environment Notes | 环境说明

  • 默认按 CPU-first 阅读,优先把推理优化的收益与切换成本看懂。
  • 这里只写组级统一前提,不点到具体节号。
  • 少数页面如需 GPU optional,以后续单页说明为准。

Released under the MIT License.