⚠️ Alpha内测版本警告:此为早期内部构建版本,尚不完整且可能存在错误,欢迎大家提Issue反馈问题或建议。
Skip to content

Chapter 7.4 Milvus 3.0 索引与性能选择(实战) ​

7.4.0 这一章干什么 ​

三个真实场景:

  • 全文检索、稀疏召回变慢。BM25 Function 把分词结果写成稀疏向量存进倒排索引(Full Text Search)。随着数据量越来越大,索引文件变大、加载变慢; QPS 下降。
  • 稠密向量占内存。向量条数从千万涨到亿级,索引结构要常驻内存,HNSW 还要再加邻居表的开销。
  • 已经有一套在 Faiss 上调好的索引配置和对应环境(比如工厂字符串、nlist / M / efConstruction 的取值、CPU 规格、并发数),换到 Milvus 后要沿用同一套参数,不想按 Milvus 的固定索引类型重调一遍。

3.0 对应上面三条给了三样东西:

  1. 稀疏倒排索引的新算法(SINDI、Block-Max WAND、Block-Max MaxScore)
  2. FAISS 直通(用 Faiss 工厂字符串直接建索引)
  3. EmbList + DiskANN(StructArray 嵌入列表的磁盘索引)

这一章把这三个问题逐个对上 3.0 的新特性,给出能直接用的索引方案和配置参数。

7.4.1 稀疏索引换代:SINDI、Block-Max WAND、Block-Max MaxScore ​

官方原话:「Milvus 3.0 对稀疏向量索引进行了全面升级。它引入了新的搜索算法——SINDI、Block-Max WAND 和 Block-Max MaxScore——同时还支持倒排列表压缩、可配置量化以及按工作负载选择搜索算法。」

跟旧版比:2.x只有一条默认路径 SPARSE_INVERTED_INDEX——查询进来逐个文档算 BM25、维护 top-k。文档量和查询词数一涨,要算分的候选跟着涨,变慢就慢在这。

3.0 把遍历算法做成了索引参数 inverted_index_algo,按场景选:

遇到的情况选什么
查询词多、k 值大(一次召回上百条)DAAT_MAXSCORE(BM25 的默认值)
查询短、k 值小DAAT_WAND
想在上面的 MaxScore / WAND 的路子上再压延迟BLOCK_MAX_MAXSCORE / BLOCK_MAX_WAND
打分要用全库统计量(如平均文档长度),或需要对照基线TAAT_NAIVE
稀疏向量检索用 IP 度量SINDI(IP 的默认值, 3.0 新增的搜索算法之一)

算法内部见「7.6 深入与进阶」(编写中)。

python
from pymilvus import MilvusClient, DataType, Function, FunctionType

client = MilvusClient(uri="http://127.0.0.1:19530")
name = "demo_fts"
if client.has_collection(name):
    client.drop_collection(name)

schema = client.create_schema(auto_id=False, enable_dynamic_field=False)
schema.add_field("id", DataType.INT64, is_primary=True)
# 文本字段开分词,BM25 按词项建倒排
schema.add_field("text", DataType.VARCHAR, max_length=512,
                 enable_analyzer=True, analyzer_params={"type": "chinese"})
schema.add_field("sparse", DataType.SPARSE_FLOAT_VECTOR)
# 服务端函数:写入原文,自动生成稀疏向量
schema.add_function(Function(name="bm25", function_type=FunctionType.BM25,
                             input_field_names=["text"], output_field_names=["sparse"]))
client.create_collection(name, schema=schema)

rows = [
    {"id": 1, "text": "Milvus 3.0 稀疏索引支持 SINDI 算法,全文检索更快"},
    {"id": 2, "text": "倒排索引把词项映射到文档列表,BM25 用它计算相关性"},
    {"id": 3, "text": "向量数据库在同一张表里做稠密向量召回和关键词召回"},
    {"id": 4, "text": "磁盘索引 DISKANN 把向量放在 SSD 上,控制内存占用"},
    {"id": 5, "text": "Faiss 的 IVF 索引用 nlist 切分倒排列表,查询时扫 nprobe 个"},
]
client.insert(name, rows)
client.flush(name)

index_params = client.prepare_index_params()
index_params.add_index(
    field_name="sparse", index_name="sparse_idx",
    index_type="SPARSE_INVERTED_INDEX", metric_type="BM25",
    params={"inverted_index_algo": "SINDI"},   # 直接指定算法
)
client.create_index(name, index_params)
print("[describe_index]", client.describe_index(name, "sparse_idx"))
client.load_collection(name)

# 检索:直接传查询原文,服务端分词后走 BM25 打分
res = client.search(collection_name=name, data=["倒排索引 稀疏"],
                    anns_field="sparse", output_fields=["text"], limit=3)
for hits in res:
    for hit in hits:
        print(f"  score={hit['distance']:.4f} | {hit['entity']['text']}")

跑起来长这样

text
[describe_index] {'inverted_index_algo': 'SINDI', 'metric_type': 'BM25', 'index_type': 'SPARSE_INVERTED_INDEX', 'field_name': 'sparse', 'index_name': 'sparse_idx', 'total_rows': 5, 'indexed_rows': 5, 'pending_index_rows': 0, 'state': 'Finished'}
  score=1.7487 | Milvus 3.0 稀疏索引支持 SINDI 算法,全文检索更快
  score=1.6439 | 倒排索引把词项映射到文档列表,BM25 用它计算相关性
  score=0.3104 | 磁盘索引 DISKANN 把向量放在 SSD 上,控制内存占用

怎么确认用的是哪套算法:看 describe_index 返回的 inverted_index_algo 字段,上面返回 SINDI。发布说明还有另一条路径——配置 dataCoord.targetVecIndexVersion: 10、dataCoord.targetScalarIndexVersion: 4 让新索引整体默认生效(「启用新索引版本后,SINDI 将成为稀疏 IP 搜索的默认选项,而 MaxScore 将成为 BM25 的默认选项」),建单个索引时用 inverted_index_algo 参数就够了。

参考文档:Milvus 发布说明 +Sparse Inverted Index(inverted_index_algo 取值与默认值的官方说明)

7.4.2 FAISS 直通:用 Faiss 工厂字符串建索引 ​

你一直使用 Faiss 做向量检索。随着数据量和服务负载增长,你决定把检索系统迁移到 Milvus,希望使用它的数据库能力。但迁移后,你发现一个问题:原来在 Faiss 中调好的索引配方,在 Milvus 的专用索引类型里找不到完全对应的组合。

如果你已经有一套经过验证的 Faiss 索引配方,又希望在 Milvus 中继续使用它,可以了解 FAISS 直通。它允许你把 Faiss 索引工厂字符串(例如 IVF64,Flat)作为 faiss_index_name 传给 Milvus。Milvus 会将这个字符串转交给底层Knowhere的 FAISS 适配器,由 Faiss 构建相应的索引;构建出的索引随后由 Milvus 按正常索引生命周期管理。

注意:不是把现有 Faiss 索引文件直接导入 Milvus。如果还不理解,就直接看本小结最后的注释内容。

python
import random
from pymilvus import MilvusClient, DataType

client = MilvusClient(uri="http://127.0.0.1:19530")
name = "demo_faiss"
if client.has_collection(name):
    client.drop_collection(name)

rng = random.Random(42)
vectors = [[rng.random() for _ in range(128)] for _ in range(3000)]

schema = client.create_schema(auto_id=False, enable_dynamic_field=False)
schema.add_field("id", DataType.INT64, is_primary=True)
schema.add_field("category", DataType.VARCHAR, max_length=32)
schema.add_field("vector", DataType.FLOAT_VECTOR, dim=128)
client.create_collection(name, schema=schema)
client.insert(name, [{"id": i,
                      "category": "reference" if i % 2 == 0 else "query",
                      "vector": v} for i, v in enumerate(vectors)])
client.flush(name)

index_params = client.prepare_index_params()
index_params.add_index(
    field_name="vector", index_name="faiss_ivf_flat",
    index_type="FAISS",                         # 不走 Milvus 固定索引类型
    metric_type="L2",
    params={"faiss_index_name": "IVF64,Flat"},  # 工厂字符串原样交给 Faiss
)
client.create_index(name, index_params)
print("[describe_index]", client.describe_index(name, "faiss_ivf_flat"))
client.load_collection(name)

res = client.search(collection_name=name, data=[vectors[0]],
                    anns_field="vector", filter='category == "reference"',
                    search_params={"params": {"nprobe": 8}},  # Faiss 的搜索参数
                    limit=5, output_fields=["category"])
for hit in res[0]:
    print(f"  id={hit['id']} dist={hit['distance']:.4f} cat={hit['entity']['category']}")

怎么确认:describe_index 返回 index_type: 'FAISS' 和 faiss_index_name: 'IVF64,Flat',工厂字符串原样写回,说明确实走了 Faiss 构建。

注意事项与坑:

  • 建索引必须提供 faiss_index_name,Milvus 原样传给 Faiss,不会自动转成专用索引类型;
  • 通用 FAISS 适配器在 CPU 上运行,不是 Faiss GPU 索引类型;
  • 不支持搜索迭代器,也不提供原始向量回读;
  • 搜索参数因工厂而异:IVF64,Flat 用 nprobe,HNSW16,Flat 用 efSearch,工厂不支持的参数会被拒绝;
  • 标量过滤依赖底层索引对 ID selector 的支持:官方测过过滤搜索的浮点工厂是 Flat、IVF64,Flat、HNSW16,Flat,不能推断所有工厂或二进制索引都支持;PQ8x4 建得出来但过滤搜索会失败,无过滤场景要单独验证;
  • 范围搜索看工厂:浮点 Flat 有测试覆盖,二进制 FAISS 索引不要用范围搜索;
  • 用 COSINE 度量时,索引每次重新加载后都要重新验证分数和范围搜索阈值:3.0.0 的 Knowhere 在反序列化时不恢复 FAISS 适配器的 cosine 归一化状态;

什么时候别用它:刚开始用 Milvus、手里没有现成的 Faiss 配方、也没有明确的组合需求——那就不要从直通开始,先看 Milvus 专用索引类型。一句话判断:「我有一套已经验证的 Faiss 配方,或者需要的组合无法用专用 Milvus 索引表达」时,再考虑 FAISS 直通。

参考文档:FAISS 索引类型

写在最后:FAISS 直通说白了就是:Milvus 给你留了个“Faiss 配方自带”的入口。这是给有 Faiss 包袱、又想用 Milvus 的人开的后门,不是大多数人选索引的首选。 没有现成配方、也说不清为什么非要用某种 Faiss 组合,就别为了“能用 Faiss”而用它;优先选 Milvus 专用索引,省得自己承担兼容性和参数验证的麻烦。

7.4.3 EmbList + DiskANN:嵌入列表的磁盘索引 ​

大白话说:EmbList + DiskANN 是给->“一个东西要挂很多向量,而且这些向量多到塞不进内存”的场景准备的。 一个文档只有一个向量?大概率用不上。文档切成很多段、每个 token 都有向量,或者一个多模态对象有多个向量,再加上数据规模顶到内存预算。

它不是给普通向量检索换个更酷的索引,而是解决“一个实体多个向量”和“向量太多占内存”这两件具体麻烦事。 如果两件事你都没遇到,就不要盲目的使用这个新功能。

python
import random
from pymilvus import MilvusClient, DataType
from pymilvus.client.embedding_list import EmbeddingList

client = MilvusClient(uri="http://127.0.0.1:19530")
name = "demo_emblist"
if client.has_collection(name):
    client.drop_collection(name)

schema = client.create_schema()
schema.add_field("id", DataType.INT64, is_primary=True, auto_id=True)
schema.add_field("title", DataType.VARCHAR, max_length=512)
# StructArray:一个文档 = 一个变长的 {chunk, emb} 列表
struct = client.create_struct_field_schema()
struct.add_field("chunk", DataType.VARCHAR, max_length=256)
struct.add_field("emb", DataType.FLOAT_VECTOR, dim=8)
schema.add_field("paragraphs", DataType.ARRAY, element_type=DataType.STRUCT,
                 struct_schema=struct, max_capacity=64)
client.create_collection(name, schema=schema)

def vec(seed):
    r = random.Random(seed)
    return [round(r.uniform(-1, 1), 3) for _ in range(8)]

rows = [
    {"title": "向量索引综述", "paragraphs": [
        {"chunk": "HNSW 是图索引", "emb": vec(1)},
        {"chunk": "IVF 用聚类切分", "emb": vec(2)},
        {"chunk": "DiskANN 放在磁盘", "emb": vec(3)},
        {"chunk": "量化降低内存", "emb": vec(4)}]},
    {"title": "全文检索入门", "paragraphs": [
        {"chunk": "BM25 是经典打分", "emb": vec(5)},
        {"chunk": "倒排索引最常见", "emb": vec(6)},
        {"chunk": "分词器决定词项", "emb": vec(7)}]},
    {"title": "重排策略", "paragraphs": [
        {"chunk": "RRF 融合多路", "emb": vec(8)},
        {"chunk": "重排模型更准更慢", "emb": vec(9)}]},
]
client.insert(name, rows)   # 不传 id,auto_id 自动生成
client.flush(name)

index_params = client.prepare_index_params()
index_params.add_index(
    field_name="paragraphs[emb]",   # 索引建在 StructArray 的向量子字段上
    index_name="emb_idx",
    index_type="DISKANN",           # 磁盘索引
    metric_type="MAX_SIM_COSINE",
)
client.create_index(name, index_params)
print("[describe_index]", client.describe_index(name, "emb_idx"))
client.load_collection(name)

# 查询端:两段查询文本 = 两个向量
q = EmbeddingList()
q.add_batch([vec(101), vec(102)])

res = client.search(collection_name=name, data=[q],
                    anns_field="paragraphs[emb]",
                    limit=3, output_fields=["title"])
for hit in res[0]:
    print(f"  doc={hit['entity']['title']} score={hit['distance']:.4f}")

要点:

  • 一个文档可以作为一个实体,里面存储多个段落以及各自的向量,不同文档的段落数可以不一样,搜索的时候也可以传入一个向量列表,列表的每一个向量作为查询的一部分,milvus会把查询列表和文档里的向量列表进行比较,搜索结果是按照文档实体返回的,MAX_SIM 参数会对查询中的每个向量,分别找出文档列表中最相似的向量,再把分数加起来。
  • MAX_SIM_COSINE 不是普通的余弦分数:两个查询向量分别精确命中同一文档的两个 chunk,把最高得分相加才是结果,因此,查询有两个向量时,最终分数可能超过 1 。

注意事项与坑:

  • 索引名:describe_index 必须显式传索引名。
  • 容量上限:StructArray 的 max_capacity 是硬上限。
  • 查询参数:data 必须包成 EmbeddingList;传普通向量会在客户端直接崩,报错只有一句 required argument is not a float,不提示原因。

什么时候别用它:数据量还在内存预算内、也没有一行多向量的需求——就不要碰磁盘索引:它拿延迟换容量,「向量加索引超出单机内存预算,或者一行必须存多个向量」时,再考虑 EmbList + DISKANN。

参考文档:使用 Embeddings 列表进行搜索 · StructArray Limits

7.4.4 怎么选:负载 → 索引对照 ​

负载用什么理由
稠密向量、内存够专用索引类型(AUTOINDEX 起步)「常见场景优先用专用索引类型」
全文 / BM25 / 稀疏 Embedding开新索引版本 → SINDI(IP)/ MaxScore(BM25)「SINDI 将成为稀疏 IP 搜索的默认选项,而 MaxScore 将成为 BM25 的默认选项」
ColBERT/ColPali、一行多向量EmbList + DISKANN「针对 StructArray 嵌入列表的磁盘上多向量索引」
向量总量超内存预算DISKANN 磁盘路径「磁盘路径可有效控制 RAM 占用量」
已有 Faiss 索引配置、专用类型覆盖不了FAISS 直通先核对限制

参考文档:Milvus 发布说明 · FAISS 索引类型 · 使用 Embeddings 列表进行搜索

7.4.5 小结 ​

  • 稀疏索引换代三件套:SINDI、Block-Max WAND、Block-Max MaxScore;BM25 索引小约 3 倍,SINDI 学习型稀疏 QPS 可达 MaxScore 的 10 倍;靠 7.1.2 的索引版本开关启用,SINDI/MaxScore 成为各自领域的默认;
  • FAISS 直通是专家级功能:给生成器字符串,只支持 FLOAT/BINARY,CPU,必须 faiss_index_name;常规场景用专用索引类型;
  • EmbList + DiskANN:ColBERT/ColPali 的磁盘索引方案,RAM 预算紧时用;

参考文档:Milvus 发布说明 · FAISS 索引类型 · 使用 Embeddings 列表进行搜索

下一章把所有东西串起来:从一份 Parquet 文件到快照、重排,完整演一遍。

下一章:7.5 Milvus 3.0 端到端实战