Chapter 7.5B 端到端实战:12345历史工单智能检索与知识发布系统
7.2 把外部集合与快照逐个跑通;7.5B 把它们组装成一个完整的业务系统——12345 历史工单的智能检索与知识发布。
7.5B.0 历史工单智能检索
先看一个问题。12345 热线转来一件市民诉求:
朝晖小区北门路面破损严重,雨天积水,居民多次反映至今未解决。关键词搜索可能命中「道路维修」,却找不到半年前真正有用的《朝晖小区北门路面修复与排水改造》。你可能会想:按小区名搜索不就行了吗?不行——同名小区的历史记录一多,返回一大堆结果,坐席仍要逐条核对;何况很多业务人员手里用的甚至不是系统,而是一份份 Excel。真正缺的是「语义检索 + 按区域、类别筛选」,直接把最相似、处置有效的历史工单放到坐席面前。
历史工单智能检索系统解决的就是这件事
整体数据流:12345 办结工单 → 湖上 Parquet 批次 → 外部 Collection → advise 供坐席参考——常规方案里搭 ETL 链路定时同步进 Milvus 的环节整个省掉;发布流程 = 快照 → 高频问题搜索门禁 → 失败回滚、切读指针。
7.5B.1 数据准备
不需要手工准备数据:配套 notebook 造 80 条历史工单,调用 embedding 模型向量化后写成湖上 Parquet 批次。
进 notebook 前先看一眼路线:造数据 → 建视图(外部 Collection)→ 查询 → 发布(快照/门禁/切读)→ 一次好增量、一次坏增量与回滚。
7.5B.2 查询
查询只做一件事:坐席给一件新诉求,系统返回最值得参考的历史工单。
flowchart TD
A["坐席输入新诉求<br/>附带区域、类别"] --> B["Milvus:按区域、类别进行过滤"]
B --> C["ANN 搜索:召回相似历史工单"]
F["湖上历史工单文件"] --> C
C --> D["FunctionChain:对搜索结果执行排序与限制"]
D --> E["返回前 3 条历史工单<br/>问题、处理办法、处理结果"]多数据源增量搜索
数据量大时(全市历史工单几十万到上百万条),一次搜索取回的前几条不一定覆盖齐全——嵌入维度总是有限的,总有一些检索任务无法被固定维度精确表示(见 基于嵌入检索的理论极限)。分页列表恰好留出了时间:坐席读完第一页要几秒到几十秒,这段时间系统可以继续往后取。
flowchart LR
S["查询拆成几个来源<br/>语义 / 关键词扩展 / 同类问题"] --> P["按预算选一个来源<br/>取下一页 5 条"]
P --> M["并入候选池<br/>按相似度排前 10"]
M --> C{"与上一轮比<br/>前 10 的变化率"}
C -->|连续两轮低于 0.2| E["停止,返回前 10"]
C -->|还在变化| S- 变化率沿用 FusionANNS 重排序里的做法:Δ = 新进前 10 的条数 ÷ 10,连续两轮 Δ ≤ 0.2 才停,避免某一轮的偶然波动直接收工。
- 预算交给多臂老虎机(UCB):每个来源记“这一页带来多少新工单”,有产出的下一轮继续翻,没产出的让位给别的来源,不用事先猜哪个来源更有效。
- 三个来源的查询文本不同,分数口径不完全一致:本实现按相似度合并,前 10 的成员与全量扫描一致,顺序会有出入;生产上用名次融合(RRF)消除这个偏差。
这套做法适合“可等待”的列表查询;对话式问答要求首字延迟,不能这样翻页。
7.5B.3 发布:把“刷新”升级成可回退的发布
发布只做一件事:新批次先过门禁再切读,不通过就退回旧版本。
flowchart TD
A["新批次工单文件到湖"] --> B["快照:记录发布前的版本"]
B --> C["refresh:刷新外部集合"]
C --> D{"门禁:行数是否完整<br/>高频问题 Top-1 是否正确"}
D -->|通过| E["切读指针:业务查询读到新版本"]
D -->|不通过| F["恢复快照到新集合"]
F --> G{"恢复集合再跑一遍门禁"}
G -->|通过| H["切读指针:回到旧版本"]
G -->|不通过| I["告警,人工介入"]
J["门禁用例随版本滚动<br/>每次发布补进最新办结的高频问题"] -.-> D发布成功 = 门禁通过、指针已切、业务查询真的读它,三条同时成立。
7.5B.4 一次正常增量
一个月后同一小区又来一单:夜间燃气施工后回填不实,路面反复沉降(WO-2101)。发布要同时验证两件事:新诉求召回 WO-2101,原来的道路破损仍召回 WO-2003——新记录不能把旧经验挤掉。
发布后:知识库从 80 行变成 81 行,WO-2101 可查,旧召回不变。新知识进得来、旧经验没被挤掉,这才是一次有业务意义的增量。
7.5B.5 一次坏增量:门禁失败与切换式回滚
这个非常重要,实际业务场景中会经常出现此问题!
坏增量长这样:混进一条内容错误的工单,诉求和正常工单一字不差,处置却是空的。文件本身没坏。
| 工单 | 诉求 | 处置 | 检索时 |
|---|---|---|---|
| WO-2003(正确) | 朝晖小区北门路面破损,坑洼积水 | 围挡、回填、排水改造 | 应该排第一 |
| WO-9901(坏) | 和上面完全相同 | 只写“已办结归档” | 实际压过了 2003 |
坐席照着 9901 答复,等于告诉市民“问题已解决”。而行数只是从 81 变成 82,查行数根本发现不了——只有拿高频问题真的去搜,才暴露得出来。
flowchart TD
A["坏批次到湖:81 行变 82 行"] --> B["refresh:坏工单进入检索"]
B --> C{"门禁:道路问题 Top-1<br/>从 WO-2003 变成 WO-9901"}
C -->|不通过| D["这次发布作废,读指针不动"]
D --> E["恢复快照到新集合:回到 81 行"]
E --> F{"新集合重跑门禁"}
F -->|通过| G["切读指针:业务查询回到旧版本"]
F -->|不通过| H["告警,人工介入"]
I["坏文件还在湖里<br/>移出源前缀,重建干净集合后再发布"] -.-> G快照恢复的用途就在这里:新批次先考试,考不过就不上线。恢复的只是检索视图,湖里的坏文件要靠移出源前缀来隔离。
7.5B.6 生产化:先解决发布的那几秒
这套系统适合低频追加、读多写少、结果只做建议的知识库,不当高并发业务主库。
上生产前最要紧的是发布窗口:原地刷新时,新批次已经能查到、门禁却还没判完,中间这几秒坐席可能拿到坏工单。12345 服务全市居民,瞬时并发高,几秒的坏参考会被放大成成片错误答复,直接影响考核指标。解决办法是换个地方刷新——不在正在使用的集合上动,另建候选集合,门禁过了才切换:
flowchart TD
A["新批次到湖"] --> B["演示做法:直接刷新正在使用的集合"]
A --> C["生产做法:另建候选集合刷新"]
B --> D{"门禁"}
C --> E{"门禁"}
D -->|不通过| F["回滚<br/>但刷新到回滚之间,坐席已经查到坏数据"]
E -->|不通过| G["删掉候选集合<br/>老集合全程没被碰过"]
D -->|通过| H["继续使用"]
E -->|通过| I["一次性切换读指针,坐席无感"]- 切指针要一次完成 。
- 候选集合存在期间两套索引并存,资源多占一份 。
7.5B.7 小结
只记住一句话:端到端 = 正常、增量、失败三种状态下,这条业务链路都有人负责;refresh、snapshot、restore 只是其中的动作。
在这个系统里:
- 外部 Collection 解决“历史知识如何不搬迁地被检索”;
- 刷新解决“新批次如何进入视图”;
- 快照和恢复解决“坏批次如何退回上一个可信版本”;
active_collection指针解决“业务到底在读哪个版本”;- 质量门禁解决“什么时候可以宣告发布成功”。
参考文档:创建外部 Collection · 管理快照 · 快照用例 · 存储 V3
上一节:7.5A 官方实战项目 · 基础回顾:7.2 外部集合与快照