第8章：LLM 工程实践与部署
章节概览
本章回答一个核心问题：如何把 LLM 应用稳定、可控、可负担地上线？
章节主图：LLM 工程生产闭环。系统不仅要产生回答，还要持续以质量、延迟、成本、可靠性和安全信号驱动路由、配置与版本迭代。
本章主线是生产闭环：量化 / 剪枝 / 蒸馏 → 推理优化 → 成本控制 → 评估监控 → 云端与端侧部署。第 5 章解释模型怎么训练，第 6 章解释应用怎么设计，第 7 章解释不同信号怎样与语言对齐，第 8 章负责把这些能力变成可运行、可观测、可回退的工程系统。
小节目录
压缩与推理（8.1-8.2）
8.1 模型压缩：量化、剪枝与蒸馏 — 📖 阅读
- PTQ / QAT / 剪枝 / 稀疏化 / 知识蒸馏的基本思路
- 精度、延迟、显存和部署复杂度的权衡
- 压缩失败模式：精度回退、长尾任务退化、硬件不匹配、稀疏收益无法兑现
8.2 推理优化 — 📖 阅读
- KV cache、批处理、Flash Attention、vLLM 等关键机制
- 吞吐、延迟、显存占用之间的取舍
- 在线服务中如何处理并发、长上下文和流式输出
成本与评估（8.3-8.4）
8.3 成本优化 — 📖 阅读
- Token 成本、推理成本、存储成本
- 模型大小、上下文长度、缓存命中率对成本的影响
- 成本控制策略：路由、缓存、截断、降级和批处理
8.4 评估与基准 — 📖 阅读
- 通用 Benchmark 与业务自定义评估
- 线上监控：质量、延迟、成本、安全和用户反馈
- 评估闭环：上线前测试、灰度、回归集和持续监控
生产与端侧系统（8.5-8.6）
8.5 生产系统设计 — 📖 阅读
- 单机部署、分布式部署和高可用架构
- 限流、重试、回退、审计和权限控制
- 从原型到生产的上线风险和运维边界
8.6 端侧多模态验收 — 📖 阅读
- 从采样、信号 token 到模态编码器和 LLM 的联合压缩
- 权重、输入表示、KV cache 和运行时共同构成峰值内存
- 用信号、对齐、任务和系统四层指标验收端侧方案
核心问题
完成本章后，你应该能回答：
- 量化、剪枝和蒸馏分别解决什么问题？代价是什么？
- KV cache、批处理和推理框架如何影响吞吐与延迟？
- LLM 服务的成本主要由哪些因素决定？
- 为什么离线 Benchmark 不等于线上质量？
- 一个生产级 LLM 系统需要哪些监控、回退和风险控制机制？
- 为什么端侧多模态不能只用参数量和模型文件大小验收？
本章学习闭环
- 先根据章节主图为一个云端或端侧多模态服务定义质量、延迟、内存、可靠性和安全目标；
- 运行
cost_calculator.py或inference_benchmark.py，理解显式假设下的估算；若用于选型，再替换价格卡并在目标硬件上采集实测数据； - 完成最低实践任务，基于明确假设下的估算或目标环境实测选择方案，并写明收益、代价和适用边界；
- 为所选方案补充监控指标、告警阈值和回退条件，形成从评估到生产反馈的闭环。
最低实践任务
给一个假设的云端 LLM 服务或端侧多模态系统设定质量、延迟、内存、成本和可靠性目标，使用本章的成本计算或推理模拟脚本比较至少两种方案，并写出一个监控与回退条件。完成标准：明确标注输入假设和数据类型，说明保留了什么信息、牺牲了什么，以及失败时如何处理；模拟结果不能写成硬件实测。
代码实验
| 小节 | 脚本 | 内容 |
|---|---|---|
| 8.1 | quantization_demo.py | 合成权重上的量化误差、剪枝理论上界与蒸馏示意 |
| 8.2 | inference_benchmark.py | KV cache 公式与延迟/吞吐模拟，不是硬件实测 |
| 8.3 | cost_calculator.py | 使用显式示意价格卡的成本算术，可注入真实价格 |
扩展阅读
- LLM Serving as Operations Research：用运筹学视角理解批处理、排队、路由、缓存、容量规划和 SLO 成本优化。
- 推理加速与硬件适配：指令集优化、GPU / NPU 并行计算和模型转换。
前置知识
- 第 5 章：LLM 原理，理解模型、训练和评估目标
- 第 6 章：LLM 应用，理解 Prompt / 微调 / RAG / Agent 的应用边界
- 第 7 章：多模态 LLM，理解图像与非视觉信号的表示、对齐和 token 成本
关键连接点
应用方案 → 工程系统
text
第6章：Prompt / 微调 / RAG / Agent
↓
模型与推理方案选择
↓
量化、缓存、批处理、路由
↓
评估、监控、回退、成本控制
↓
生产级 LLM 系统信号—语言对齐 → 端侧联合验收
text
第7章：信号表示 → 模态编码 → 语言对齐
↓ 输入、编码器、对齐接口与 LLM 都可能压缩
第8章：信号保真 + 对齐质量 + 任务结果 + 设备资源
↓
在端侧预算内保留任务所需信息