Group 3.4: Inference Optimization | 3.4: 推理优化
本组聚焦推理侧的显存与多租户优化,先看 Quantization,再看 Multi-LoRA。
Group Overview | 组概览
这一组把推理侧的压缩和多租户优化串起来,是从 Attention 主线继续落到工程优化的延伸。阅读顺序和组内资产见下表,先看 10,再进入 11。
Group Asset Overview | 组内资产总览
| 页 | 职责作用 | 定位 |
|---|---|---|
| 10 | 理解量化在推理侧的收益 | 主线页 |
| 11 | 处理多 LoRA 的共享与切换 | 主线页 |
Learning Path | 学习路径
Recommended Order | 推荐顺序
Next Steps | 后续衔接
- 看完本组后,继续进入 3.5,把推理优化接到调试、内存模型和项目收口上。
Environment Notes | 环境说明
- 默认按
CPU-first阅读,优先把推理优化的收益与切换成本看懂。 - 这里只写组级统一前提,不点到具体节号。
- 少数页面如需
GPU optional,以后续单页说明为准。
