Chapter 7.4 Milvus 3.0 索引与性能选择(实战)
7.4.0 这一章干什么
三个真实场景:
- 全文检索、稀疏召回变慢。BM25 Function 把分词结果写成稀疏向量存进倒排索引(Full Text Search)。随着数据量越来越大,索引文件变大、加载变慢; QPS 下降。
- 稠密向量占内存。向量条数从千万涨到亿级,索引结构要常驻内存,HNSW 还要再加邻居表的开销。
- 已经有一套在 Faiss 上调好的索引配置和对应环境(比如工厂字符串、nlist / M / efConstruction 的取值、CPU 规格、并发数),换到 Milvus 后要沿用同一套参数,不想按 Milvus 的固定索引类型重调一遍。
3.0 对应上面三条给了三样东西:
- 稀疏倒排索引的新算法(SINDI、Block-Max WAND、Block-Max MaxScore)
- FAISS 直通(用 Faiss 工厂字符串直接建索引)
- EmbList + DiskANN(StructArray 嵌入列表的磁盘索引)
这一章把这三个问题逐个对上 3.0 的新特性,给出能直接用的索引方案和配置参数。
7.4.1 稀疏索引换代:SINDI、Block-Max WAND、Block-Max MaxScore
官方原话:「Milvus 3.0 对稀疏向量索引进行了全面升级。它引入了新的搜索算法——SINDI、Block-Max WAND 和 Block-Max MaxScore——同时还支持倒排列表压缩、可配置量化以及按工作负载选择搜索算法。」
跟旧版比:2.x只有一条默认路径 SPARSE_INVERTED_INDEX——查询进来逐个文档算 BM25、维护 top-k。文档量和查询词数一涨,要算分的候选跟着涨,变慢就慢在这。
3.0 把遍历算法做成了索引参数 inverted_index_algo,按场景选:
| 遇到的情况 | 选什么 |
|---|---|
| 查询词多、k 值大(一次召回上百条) | DAAT_MAXSCORE(BM25 的默认值) |
| 查询短、k 值小 | DAAT_WAND |
| 想在上面的 MaxScore / WAND 的路子上再压延迟 | BLOCK_MAX_MAXSCORE / BLOCK_MAX_WAND |
| 打分要用全库统计量(如平均文档长度),或需要对照基线 | TAAT_NAIVE |
| 稀疏向量检索用 IP 度量 | SINDI(IP 的默认值, 3.0 新增的搜索算法之一) |
算法内部见「7.6 深入与进阶」(编写中)。
from pymilvus import MilvusClient, DataType, Function, FunctionType
client = MilvusClient(uri="http://127.0.0.1:19530")
name = "demo_fts"
if client.has_collection(name):
client.drop_collection(name)
schema = client.create_schema(auto_id=False, enable_dynamic_field=False)
schema.add_field("id", DataType.INT64, is_primary=True)
# 文本字段开分词,BM25 按词项建倒排
schema.add_field("text", DataType.VARCHAR, max_length=512,
enable_analyzer=True, analyzer_params={"type": "chinese"})
schema.add_field("sparse", DataType.SPARSE_FLOAT_VECTOR)
# 服务端函数:写入原文,自动生成稀疏向量
schema.add_function(Function(name="bm25", function_type=FunctionType.BM25,
input_field_names=["text"], output_field_names=["sparse"]))
client.create_collection(name, schema=schema)
rows = [
{"id": 1, "text": "Milvus 3.0 稀疏索引支持 SINDI 算法,全文检索更快"},
{"id": 2, "text": "倒排索引把词项映射到文档列表,BM25 用它计算相关性"},
{"id": 3, "text": "向量数据库在同一张表里做稠密向量召回和关键词召回"},
{"id": 4, "text": "磁盘索引 DISKANN 把向量放在 SSD 上,控制内存占用"},
{"id": 5, "text": "Faiss 的 IVF 索引用 nlist 切分倒排列表,查询时扫 nprobe 个"},
]
client.insert(name, rows)
client.flush(name)
index_params = client.prepare_index_params()
index_params.add_index(
field_name="sparse", index_name="sparse_idx",
index_type="SPARSE_INVERTED_INDEX", metric_type="BM25",
params={"inverted_index_algo": "SINDI"}, # 直接指定算法
)
client.create_index(name, index_params)
print("[describe_index]", client.describe_index(name, "sparse_idx"))
client.load_collection(name)
# 检索:直接传查询原文,服务端分词后走 BM25 打分
res = client.search(collection_name=name, data=["倒排索引 稀疏"],
anns_field="sparse", output_fields=["text"], limit=3)
for hits in res:
for hit in hits:
print(f" score={hit['distance']:.4f} | {hit['entity']['text']}")跑起来长这样
[describe_index] {'inverted_index_algo': 'SINDI', 'metric_type': 'BM25', 'index_type': 'SPARSE_INVERTED_INDEX', 'field_name': 'sparse', 'index_name': 'sparse_idx', 'total_rows': 5, 'indexed_rows': 5, 'pending_index_rows': 0, 'state': 'Finished'}
score=1.7487 | Milvus 3.0 稀疏索引支持 SINDI 算法,全文检索更快
score=1.6439 | 倒排索引把词项映射到文档列表,BM25 用它计算相关性
score=0.3104 | 磁盘索引 DISKANN 把向量放在 SSD 上,控制内存占用怎么确认用的是哪套算法:看 describe_index 返回的 inverted_index_algo 字段,上面返回 SINDI。发布说明还有另一条路径——配置 dataCoord.targetVecIndexVersion: 10、dataCoord.targetScalarIndexVersion: 4 让新索引整体默认生效(「启用新索引版本后,SINDI 将成为稀疏 IP 搜索的默认选项,而 MaxScore 将成为 BM25 的默认选项」),建单个索引时用 inverted_index_algo 参数就够了。
参考文档:Milvus 发布说明 +Sparse Inverted Index(inverted_index_algo 取值与默认值的官方说明)
7.4.2 FAISS 直通:用 Faiss 工厂字符串建索引
你一直使用 Faiss 做向量检索。随着数据量和服务负载增长,你决定把检索系统迁移到 Milvus,希望使用它的数据库能力。但迁移后,你发现一个问题:原来在 Faiss 中调好的索引配方,在 Milvus 的专用索引类型里找不到完全对应的组合。
如果你已经有一套经过验证的 Faiss 索引配方,又希望在 Milvus 中继续使用它,可以了解 FAISS 直通。它允许你把 Faiss 索引工厂字符串(例如 IVF64,Flat)作为 faiss_index_name 传给 Milvus。Milvus 会将这个字符串转交给底层Knowhere的 FAISS 适配器,由 Faiss 构建相应的索引;构建出的索引随后由 Milvus 按正常索引生命周期管理。
注意:不是把现有 Faiss 索引文件直接导入 Milvus。如果还不理解,就直接看本小结最后的注释内容。
import random
from pymilvus import MilvusClient, DataType
client = MilvusClient(uri="http://127.0.0.1:19530")
name = "demo_faiss"
if client.has_collection(name):
client.drop_collection(name)
rng = random.Random(42)
vectors = [[rng.random() for _ in range(128)] for _ in range(3000)]
schema = client.create_schema(auto_id=False, enable_dynamic_field=False)
schema.add_field("id", DataType.INT64, is_primary=True)
schema.add_field("category", DataType.VARCHAR, max_length=32)
schema.add_field("vector", DataType.FLOAT_VECTOR, dim=128)
client.create_collection(name, schema=schema)
client.insert(name, [{"id": i,
"category": "reference" if i % 2 == 0 else "query",
"vector": v} for i, v in enumerate(vectors)])
client.flush(name)
index_params = client.prepare_index_params()
index_params.add_index(
field_name="vector", index_name="faiss_ivf_flat",
index_type="FAISS", # 不走 Milvus 固定索引类型
metric_type="L2",
params={"faiss_index_name": "IVF64,Flat"}, # 工厂字符串原样交给 Faiss
)
client.create_index(name, index_params)
print("[describe_index]", client.describe_index(name, "faiss_ivf_flat"))
client.load_collection(name)
res = client.search(collection_name=name, data=[vectors[0]],
anns_field="vector", filter='category == "reference"',
search_params={"params": {"nprobe": 8}}, # Faiss 的搜索参数
limit=5, output_fields=["category"])
for hit in res[0]:
print(f" id={hit['id']} dist={hit['distance']:.4f} cat={hit['entity']['category']}")怎么确认:describe_index 返回 index_type: 'FAISS' 和 faiss_index_name: 'IVF64,Flat',工厂字符串原样写回,说明确实走了 Faiss 构建。
注意事项与坑:
- 建索引必须提供
faiss_index_name,Milvus 原样传给 Faiss,不会自动转成专用索引类型; - 通用 FAISS 适配器在 CPU 上运行,不是 Faiss GPU 索引类型;
- 不支持搜索迭代器,也不提供原始向量回读;
- 搜索参数因工厂而异:
IVF64,Flat用nprobe,HNSW16,Flat用efSearch,工厂不支持的参数会被拒绝; - 标量过滤依赖底层索引对 ID selector 的支持:官方测过过滤搜索的浮点工厂是
Flat、IVF64,Flat、HNSW16,Flat,不能推断所有工厂或二进制索引都支持;PQ8x4建得出来但过滤搜索会失败,无过滤场景要单独验证; - 范围搜索看工厂:浮点
Flat有测试覆盖,二进制 FAISS 索引不要用范围搜索; - 用
COSINE度量时,索引每次重新加载后都要重新验证分数和范围搜索阈值:3.0.0 的 Knowhere 在反序列化时不恢复 FAISS 适配器的 cosine 归一化状态;
什么时候别用它:刚开始用 Milvus、手里没有现成的 Faiss 配方、也没有明确的组合需求——那就不要从直通开始,先看 Milvus 专用索引类型。一句话判断:「我有一套已经验证的 Faiss 配方,或者需要的组合无法用专用 Milvus 索引表达」时,再考虑 FAISS 直通。
参考文档:FAISS 索引类型
写在最后:FAISS 直通说白了就是:Milvus 给你留了个“Faiss 配方自带”的入口。这是给有 Faiss 包袱、又想用 Milvus 的人开的后门,不是大多数人选索引的首选。 没有现成配方、也说不清为什么非要用某种 Faiss 组合,就别为了“能用 Faiss”而用它;优先选 Milvus 专用索引,省得自己承担兼容性和参数验证的麻烦。
7.4.3 EmbList + DiskANN:嵌入列表的磁盘索引
大白话说:EmbList + DiskANN 是给->“一个东西要挂很多向量,而且这些向量多到塞不进内存”的场景准备的。 一个文档只有一个向量?大概率用不上。文档切成很多段、每个 token 都有向量,或者一个多模态对象有多个向量,再加上数据规模顶到内存预算。
它不是给普通向量检索换个更酷的索引,而是解决“一个实体多个向量”和“向量太多占内存”这两件具体麻烦事。 如果两件事你都没遇到,就不要盲目的使用这个新功能。
import random
from pymilvus import MilvusClient, DataType
from pymilvus.client.embedding_list import EmbeddingList
client = MilvusClient(uri="http://127.0.0.1:19530")
name = "demo_emblist"
if client.has_collection(name):
client.drop_collection(name)
schema = client.create_schema()
schema.add_field("id", DataType.INT64, is_primary=True, auto_id=True)
schema.add_field("title", DataType.VARCHAR, max_length=512)
# StructArray:一个文档 = 一个变长的 {chunk, emb} 列表
struct = client.create_struct_field_schema()
struct.add_field("chunk", DataType.VARCHAR, max_length=256)
struct.add_field("emb", DataType.FLOAT_VECTOR, dim=8)
schema.add_field("paragraphs", DataType.ARRAY, element_type=DataType.STRUCT,
struct_schema=struct, max_capacity=64)
client.create_collection(name, schema=schema)
def vec(seed):
r = random.Random(seed)
return [round(r.uniform(-1, 1), 3) for _ in range(8)]
rows = [
{"title": "向量索引综述", "paragraphs": [
{"chunk": "HNSW 是图索引", "emb": vec(1)},
{"chunk": "IVF 用聚类切分", "emb": vec(2)},
{"chunk": "DiskANN 放在磁盘", "emb": vec(3)},
{"chunk": "量化降低内存", "emb": vec(4)}]},
{"title": "全文检索入门", "paragraphs": [
{"chunk": "BM25 是经典打分", "emb": vec(5)},
{"chunk": "倒排索引最常见", "emb": vec(6)},
{"chunk": "分词器决定词项", "emb": vec(7)}]},
{"title": "重排策略", "paragraphs": [
{"chunk": "RRF 融合多路", "emb": vec(8)},
{"chunk": "重排模型更准更慢", "emb": vec(9)}]},
]
client.insert(name, rows) # 不传 id,auto_id 自动生成
client.flush(name)
index_params = client.prepare_index_params()
index_params.add_index(
field_name="paragraphs[emb]", # 索引建在 StructArray 的向量子字段上
index_name="emb_idx",
index_type="DISKANN", # 磁盘索引
metric_type="MAX_SIM_COSINE",
)
client.create_index(name, index_params)
print("[describe_index]", client.describe_index(name, "emb_idx"))
client.load_collection(name)
# 查询端:两段查询文本 = 两个向量
q = EmbeddingList()
q.add_batch([vec(101), vec(102)])
res = client.search(collection_name=name, data=[q],
anns_field="paragraphs[emb]",
limit=3, output_fields=["title"])
for hit in res[0]:
print(f" doc={hit['entity']['title']} score={hit['distance']:.4f}")要点:
- 一个文档可以作为一个实体,里面存储多个段落以及各自的向量,不同文档的段落数可以不一样,搜索的时候也可以传入一个向量列表,列表的每一个向量作为查询的一部分,milvus会把查询列表和文档里的向量列表进行比较,搜索结果是按照文档实体返回的,
MAX_SIM参数会对查询中的每个向量,分别找出文档列表中最相似的向量,再把分数加起来。 MAX_SIM_COSINE不是普通的余弦分数:两个查询向量分别精确命中同一文档的两个 chunk,把最高得分相加才是结果,因此,查询有两个向量时,最终分数可能超过 1 。
注意事项与坑:
- 索引名:
describe_index必须显式传索引名。 - 容量上限:StructArray 的
max_capacity是硬上限。 - 查询参数:
data必须包成EmbeddingList;传普通向量会在客户端直接崩,报错只有一句required argument is not a float,不提示原因。
什么时候别用它:数据量还在内存预算内、也没有一行多向量的需求——就不要碰磁盘索引:它拿延迟换容量,「向量加索引超出单机内存预算,或者一行必须存多个向量」时,再考虑 EmbList + DISKANN。
参考文档:使用 Embeddings 列表进行搜索 · StructArray Limits
7.4.4 怎么选:负载 → 索引对照
| 负载 | 用什么 | 理由 |
|---|---|---|
| 稠密向量、内存够 | 专用索引类型(AUTOINDEX 起步) | 「常见场景优先用专用索引类型」 |
| 全文 / BM25 / 稀疏 Embedding | 开新索引版本 → SINDI(IP)/ MaxScore(BM25) | 「SINDI 将成为稀疏 IP 搜索的默认选项,而 MaxScore 将成为 BM25 的默认选项」 |
| ColBERT/ColPali、一行多向量 | EmbList + DISKANN | 「针对 StructArray 嵌入列表的磁盘上多向量索引」 |
| 向量总量超内存预算 | DISKANN 磁盘路径 | 「磁盘路径可有效控制 RAM 占用量」 |
| 已有 Faiss 索引配置、专用类型覆盖不了 | FAISS 直通 | 先核对限制 |
参考文档:Milvus 发布说明 · FAISS 索引类型 · 使用 Embeddings 列表进行搜索
7.4.5 小结
- 稀疏索引换代三件套:SINDI、Block-Max WAND、Block-Max MaxScore;BM25 索引小约 3 倍,SINDI 学习型稀疏 QPS 可达 MaxScore 的 10 倍;靠 7.1.2 的索引版本开关启用,SINDI/MaxScore 成为各自领域的默认;
- FAISS 直通是专家级功能:给生成器字符串,只支持 FLOAT/BINARY,CPU,必须
faiss_index_name;常规场景用专用索引类型; - EmbList + DiskANN:ColBERT/ColPali 的磁盘索引方案,RAM 预算紧时用;
参考文档:Milvus 发布说明 · FAISS 索引类型 · 使用 Embeddings 列表进行搜索
下一章把所有东西串起来:从一份 Parquet 文件到快照、重排,完整演一遍。