⚠️ Alpha内测版本警告:此为早期内部构建版本,尚不完整且可能存在错误,欢迎大家提Issue反馈问题或建议。
Skip to content

Chapter 7.5B 端到端实战:12345历史工单智能检索与知识发布系统 ​

7.2 把外部集合与快照逐个跑通;7.5B 把它们组装成一个完整的业务系统——12345 历史工单的智能检索与知识发布。

7.5B.0 历史工单智能检索 ​

先看一个问题。12345 热线转来一件市民诉求:

text
朝晖小区北门路面破损严重,雨天积水,居民多次反映至今未解决。

关键词搜索可能命中「道路维修」,却找不到半年前真正有用的《朝晖小区北门路面修复与排水改造》。你可能会想:按小区名搜索不就行了吗?不行——同名小区的历史记录一多,返回一大堆结果,坐席仍要逐条核对;何况很多业务人员手里用的甚至不是系统,而是一份份 Excel。真正缺的是「语义检索 + 按区域、类别筛选」,直接把最相似、处置有效的历史工单放到坐席面前。

历史工单智能检索系统解决的就是这件事

整体数据流:12345 办结工单 → 湖上 Parquet 批次 → 外部 Collection → advise 供坐席参考——常规方案里搭 ETL 链路定时同步进 Milvus 的环节整个省掉;发布流程 = 快照 → 高频问题搜索门禁 → 失败回滚、切读指针。

7.5B.1 数据准备 ​

不需要手工准备数据:配套 notebook 造 80 条历史工单,调用 embedding 模型向量化后写成湖上 Parquet 批次。

进 notebook 前先看一眼路线:造数据 → 建视图(外部 Collection)→ 查询 → 发布(快照/门禁/切读)→ 一次好增量、一次坏增量与回滚。


7.5B.2 查询 ​

查询只做一件事:坐席给一件新诉求,系统返回最值得参考的历史工单。

mermaid
flowchart TD
    A["坐席输入新诉求<br/>附带区域、类别"] --> B["Milvus:按区域、类别进行过滤"]
    B --> C["ANN 搜索:召回相似历史工单"]
    F["湖上历史工单文件"] --> C
    C --> D["FunctionChain:对搜索结果执行排序与限制"]
    D --> E["返回前 3 条历史工单<br/>问题、处理办法、处理结果"]

多数据源增量搜索 ​

数据量大时(全市历史工单几十万到上百万条),一次搜索取回的前几条不一定覆盖齐全——嵌入维度总是有限的,总有一些检索任务无法被固定维度精确表示(见 基于嵌入检索的理论极限)。分页列表恰好留出了时间:坐席读完第一页要几秒到几十秒,这段时间系统可以继续往后取。

mermaid
flowchart LR
    S["查询拆成几个来源<br/>语义 / 关键词扩展 / 同类问题"] --> P["按预算选一个来源<br/>取下一页 5 条"]
    P --> M["并入候选池<br/>按相似度排前 10"]
    M --> C{"与上一轮比<br/>前 10 的变化率"}
    C -->|连续两轮低于 0.2| E["停止,返回前 10"]
    C -->|还在变化| S
  • 变化率沿用 FusionANNS 重排序里的做法:Δ = 新进前 10 的条数 ÷ 10,连续两轮 Δ ≤ 0.2 才停,避免某一轮的偶然波动直接收工。
  • 预算交给多臂老虎机(UCB):每个来源记“这一页带来多少新工单”,有产出的下一轮继续翻,没产出的让位给别的来源,不用事先猜哪个来源更有效。
  • 三个来源的查询文本不同,分数口径不完全一致:本实现按相似度合并,前 10 的成员与全量扫描一致,顺序会有出入;生产上用名次融合(RRF)消除这个偏差。

这套做法适合“可等待”的列表查询;对话式问答要求首字延迟,不能这样翻页。


7.5B.3 发布:把“刷新”升级成可回退的发布 ​

发布只做一件事:新批次先过门禁再切读,不通过就退回旧版本。

mermaid
flowchart TD
    A["新批次工单文件到湖"] --> B["快照:记录发布前的版本"]
    B --> C["refresh:刷新外部集合"]
    C --> D{"门禁:行数是否完整<br/>高频问题 Top-1 是否正确"}
    D -->|通过| E["切读指针:业务查询读到新版本"]
    D -->|不通过| F["恢复快照到新集合"]
    F --> G{"恢复集合再跑一遍门禁"}
    G -->|通过| H["切读指针:回到旧版本"]
    G -->|不通过| I["告警,人工介入"]
    J["门禁用例随版本滚动<br/>每次发布补进最新办结的高频问题"] -.-> D

发布成功 = 门禁通过、指针已切、业务查询真的读它,三条同时成立。


7.5B.4 一次正常增量 ​

一个月后同一小区又来一单:夜间燃气施工后回填不实,路面反复沉降(WO-2101)。发布要同时验证两件事:新诉求召回 WO-2101,原来的道路破损仍召回 WO-2003——新记录不能把旧经验挤掉。

发布后:知识库从 80 行变成 81 行,WO-2101 可查,旧召回不变。新知识进得来、旧经验没被挤掉,这才是一次有业务意义的增量。


7.5B.5 一次坏增量:门禁失败与切换式回滚 ​

这个非常重要,实际业务场景中会经常出现此问题!

坏增量长这样:混进一条内容错误的工单,诉求和正常工单一字不差,处置却是空的。文件本身没坏。

工单诉求处置检索时
WO-2003(正确)朝晖小区北门路面破损,坑洼积水围挡、回填、排水改造应该排第一
WO-9901(坏)和上面完全相同只写“已办结归档”实际压过了 2003

坐席照着 9901 答复,等于告诉市民“问题已解决”。而行数只是从 81 变成 82,查行数根本发现不了——只有拿高频问题真的去搜,才暴露得出来。

mermaid
flowchart TD
    A["坏批次到湖:81 行变 82 行"] --> B["refresh:坏工单进入检索"]
    B --> C{"门禁:道路问题 Top-1<br/>从 WO-2003 变成 WO-9901"}
    C -->|不通过| D["这次发布作废,读指针不动"]
    D --> E["恢复快照到新集合:回到 81 行"]
    E --> F{"新集合重跑门禁"}
    F -->|通过| G["切读指针:业务查询回到旧版本"]
    F -->|不通过| H["告警,人工介入"]
    I["坏文件还在湖里<br/>移出源前缀,重建干净集合后再发布"] -.-> G

快照恢复的用途就在这里:新批次先考试,考不过就不上线。恢复的只是检索视图,湖里的坏文件要靠移出源前缀来隔离。


7.5B.6 生产化:先解决发布的那几秒 ​

这套系统适合低频追加、读多写少、结果只做建议的知识库,不当高并发业务主库。

上生产前最要紧的是发布窗口:原地刷新时,新批次已经能查到、门禁却还没判完,中间这几秒坐席可能拿到坏工单。12345 服务全市居民,瞬时并发高,几秒的坏参考会被放大成成片错误答复,直接影响考核指标。解决办法是换个地方刷新——不在正在使用的集合上动,另建候选集合,门禁过了才切换:

mermaid
flowchart TD
    A["新批次到湖"] --> B["演示做法:直接刷新正在使用的集合"]
    A --> C["生产做法:另建候选集合刷新"]
    B --> D{"门禁"}
    C --> E{"门禁"}
    D -->|不通过| F["回滚<br/>但刷新到回滚之间,坐席已经查到坏数据"]
    E -->|不通过| G["删掉候选集合<br/>老集合全程没被碰过"]
    D -->|通过| H["继续使用"]
    E -->|通过| I["一次性切换读指针,坐席无感"]
  • 切指针要一次完成 。
  • 候选集合存在期间两套索引并存,资源多占一份 。

7.5B.7 小结 ​

只记住一句话:端到端 = 正常、增量、失败三种状态下,这条业务链路都有人负责;refresh、snapshot、restore 只是其中的动作。

在这个系统里:

  • 外部 Collection 解决“历史知识如何不搬迁地被检索”;
  • 刷新解决“新批次如何进入视图”;
  • 快照和恢复解决“坏批次如何退回上一个可信版本”;
  • active_collection 指针解决“业务到底在读哪个版本”;
  • 质量门禁解决“什么时候可以宣告发布成功”。

参考文档:创建外部 Collection · 管理快照 · 快照用例 · 存储 V3

上一节:7.5A 官方实战项目 · 基础回顾:7.2 外部集合与快照