8.4 评估与基准
核心问题： 如何判断一个 LLM 系统是否真的可上线？
在线 Notebook
对应的交互式版本可在 Google Colab 打开，统一使用方式见 第0章说明。
Benchmark 不等于线上质量
通用 Benchmark 可以评估基础能力，但不能直接代表业务效果。
原因：
- 业务输入分布不同
- 输出格式和安全要求不同
- 用户容忍度不同
- RAG、工具调用和权限逻辑不在通用 Benchmark 中
所以生产系统需要通用评估和业务评估两套体系。
离线评估
上线前至少准备：
- 黄金测试集：人工确认的高质量样本
- 边界样本：长文本、歧义问题、异常输入
- 回归集：历史失败案例
- 安全集：敏感、越权、注入攻击样本
常见指标：
- 准确率 / 通过率
- 格式符合率
- 引用正确率
- 拒答正确率
- 平均延迟和成本
系统指标应按链路分解，避免“最终答案错了”却无法定位：
| 系统 | 至少分开评估的环节 |
|---|---|
| Prompt / 直接生成 | 任务正确性、格式、事实性、安全 |
| RAG | 候选召回、重排序、上下文覆盖、引用支持度、最终答案 |
| Agent | 工具选择、参数正确性、步骤终止、任务成功率、副作用 |
| 多模态 | 信号侧、对齐侧、任务侧和系统资源 |
若使用 LLM 评分器，需要固定评分 Prompt 和模型版本，并用一部分人工标注样本校准偏差与一致性。评分器给出的数字不是天然客观真值。
在线监控
上线后需要持续监控：
- 请求量、错误率、超时率
- 首 token 延迟和总延迟
- 输入/输出 token 分布
- 检索召回、无答案识别、空结果率和引用支持度
- 用户反馈和人工接管率
- 成本峰值和预算消耗
只监控服务可用性不够，还要监控回答质量和业务风险。
评估闭环
text
线上失败案例
↓
人工标注和归因
↓
加入回归集
↓
修 Prompt / RAG / 微调 / 工具
↓
重新评估
↓
灰度上线评估不是上线前的一次性动作，而是生产系统的一部分。
本节小结
- 通用 Benchmark 只能说明基础能力，不能替代业务评估
- 生产评估需要覆盖质量、格式、安全、延迟和成本
- 线上失败案例必须进入回归集
- 没有评估闭环，就无法稳定迭代 LLM 系统
下一节： 8.5 生产系统设计