扩展：多模态系统组合
在线 Notebook
对应的交互式版本可在 Google Colab 打开，统一使用方式见 第0章说明。
所属章节： 第 7 章：多模态 LLM
多模态 RAG
文档、图片和图表混合的知识库可以保留两条检索路径：
text
查询
├─ 文本检索：OCR、标题、说明和元数据
└─ 视觉检索：图像或页面向量
↓
候选合并与重排
↓
原图局部 + 文字片段 + 来源信息
↓
多模态模型生成回答文本检索适合精确术语和数字；视觉检索能覆盖没有完整文字描述的版式或图像。二者合并后仍要评估召回率、重复页面、裁剪区域和引用是否对应答案。
OCR 与多模态模型的组合
| 任务条件 | 可先采用的方案 |
|---|---|
| 大量清晰印刷文字、需精确搜索 | OCR + 文本索引 |
| 版式、图像和文字关系重要 | OCR + 页面图像共同输入 |
| 少量页面、允许人工复核 | 直接多模态抽取作为基线 |
| 金额、合同或医疗字段 | OCR/模型抽取 + schema + 规则校验 |
OCR 结果应保留坐标和置信度。多模态模型可以解释版式关系，但不能替代金额合计、日期范围等确定性校验。
视觉 Agent
视觉 Agent 把截图或相机画面转为行动。一个可审计循环为：
text
观察截图与状态
→ 定位候选控件
→ 选择一个允许的动作
→ 执行动作
→ 读取新状态并验证主要风险包括：
- 截图缩放导致坐标映射错误；
- 相似控件、遮挡和滚动状态造成误定位；
- 页面变化后继续使用旧观察；
- 外部图像或文字包含提示注入；
- 不可逆操作缺少确认和回滚。
操作系统应限制工具权限，对发送、支付、删除等动作要求明确确认，并保存截图、模型输出、工具参数和执行结果。
图像尺寸与资源控制
高分辨率会增加视觉 token、显存和延迟。不要固定假设“更高分辨率一定更好”，应按任务测试：
- 原图中最小目标或文字是否可辨；
- 缩放、分块后是否丢失全局关系；
- 多图输入是否明确标识顺序和来源；
- 视觉 token 数是否挤占文本上下文；
- 在目标硬件上的峰值显存和延迟。
零样本图像分类提示
CLIP 类模型会把类别文本编码为向量，因此模板会影响文本表示。不要采用没有数据来源的固定模板准确率。可在验证集上比较多个模板，并报告类别级结果：
text
"{class}"
"a photo of a {class}"
"a close-up photo of a {class}"多模板平均可以降低单一措辞敏感性，但也可能引入不适合某些类别的描述。
最小系统评测
text
检索：页面/区域召回率、引用正确率
感知：OCR、目标或坐标准确率
生成：字段 F1、事实性、格式通过率
行动：任务成功率、误操作率、平均步骤数
效率：延迟、视觉 token、显存和成本
安全：提示注入、越权动作和确认覆盖模型或模型推理框架版本会变化。依赖应锁定并通过最小 smoke test 验证，不在教程中维护“需要某个最新版本”的临时说明。
返回： 第 7 章：多模态 LLM