Chapter 7.5A 官方实战项目
第 7 章到 7.4 为止,我们把 3.0 的每个新特性单独看过一遍。7.5 是实战,分为AB两部分,A部分用于介绍和复现官方Demo,一个特性一个应用,B部分是用一套数据工程闭环串联知识点。阅读下方第一个表格,如果不感兴趣,可以直接跳过本章节(包括本章节的ipynb文件),看B部分的内容。
学完 7.5A,你应该能对着任何"用 3.0 新特性做检索应用"的需求,说清它的 schema、函数、索引与查询形态;学完 7.5B,你应该能把这套东西放进一条真实的数据管线里。第 7 章到此收官。
7.5A.1 五个 demo
官方 demo 仓库 milvus3-demos
| # | Demo | 使用的核心特性 | 简介 | 所需数据 |
|---|---|---|---|---|
| 1 | MinHash 近重复检测 | MINHASH 函数 + MINHASH_LSH 索引 | 不生成向量也能算"相似度" | 36 篇短文 |
| 2 | 函数链重排 | FunctionChain + FileResource + XGBoost | 向量召回做基础,业务特征在库内重排 | 240 商品 |
| 3 | StructArray 父子混合 | ARRAY<STRUCT> 元素级向量 | 一行存"视频+它的 18 个目标",一次查询三种答法 | 30 视频 × 540 观察 |
| 4 | EmbeddingList 多向量 | 页内 patch 级检索 + MAX_SIM_COSINE | 一页切多个块各自嵌入,回答"哪一页讲了这件事" | NASA 手册 40 页 |
| 5 | 搜索聚合 | SearchAggregation | 检索结果服务端直接分面统计,前端拿桶不用拉全量 | 90 部电影 |
环境要求:复用第 7 章的Milvus v3.0.2。Demo 2/3/4/5 需要一个 OpenAI 兼容的嵌入 API ,在环境变量里准备:
export EMB_KEY=你的嵌入API密钥7.5A.2 Demo 1 · MinHash 近重复检测
它解决什么:判断"这篇文档是不是那篇的抄袭/变体"。传统向量检索靠语义,但"复制粘贴改几个词"的文档语义几乎不变、向量几乎相同——反而抓不出字面级的重复。MinHash 反过来:不看语义,只看字面 shingle 的重合率(Jaccard 相似度),而且全程在 Milvus 内部完成,不需要任何嵌入模型。
notebook:7.5A-01-MinHash近重复检测.ipynb。
官方在线地址:https://demos.milvus.io/minhash-near-duplicate
7.5A.3 Demo 2 · 函数链重排
它解决什么:纯向量排序只懂语义相似,不懂生意——好评多的、近期上架的、价格贴着心理价位的,理应更靠前。3.0 的 L0 Function Chain 把"特征计算 + 模型打分"搬进数据库:召回后服务端自动跑一条链,输出业务分。
notebook:7.5A-02-函数链重排.ipynb。
官方在线地址:https://demos.milvus.io/function-chain-rerank
7.5A.4 Demo 3 · StructArray
它解决什么:行车记录仪一帧里有多个目标(卡车/行人/自行车),每个目标都有自己的描述和向量。老做法是拆两张表(视频表 + 目标表)再 join;3.0 的 ARRAY<STRUCT> 把 18 个子记录(各带自己的向量)直接嵌在视频行里,一次查询能分别问"哪段视频整体最像"和"哪个具体目标最像"。
notebook:7.5A-03-StructArray父子混合检索.ipynb。
官方在线地址:https://demos.milvus.io/structarray-search
7.5A.5 Demo 4 · EmbeddingList
它解决什么:一份 356 页的手册,问"利益相关方期望怎么变成技术需求?"——整页压成一个向量会"平均掉"页内细节,答案页和相邻页分不开。做法:每页切成多个 patch,各自嵌入,一页 = 一组向量。查询时对每个候选页算"query 与页内所有 patch 的最大相似度"(MAX_SIM),谁页里有最贴的段落谁排前。
notebook:7.5A-04-EmbeddingList多向量检索.ipynb。
官方在线地址:https://demos.milvus.io/embedding-list
7.5A.6 Demo 5 · Search Aggregation
它解决什么:电商/内容站的搜索页都有"类型/年代/地区"的facet卡片。老做法是把 top-K 全拉回应用里自己 groupby——K 大了传输和内存都疼。3.0 的 SearchAggregation 让 Milvus 在服务端边搜边分桶,一次请求返回:每个桶的 key、桶内命中总数、桶内 Top 命中。
notebook:7.5A-05-SearchAggregation分面聚合.ipynb。 官方在线地址:https://demos.milvus.io/movie-discovery