Milvus 上新！全新 Range Search 功能，可精准控制搜索结果

Range Search 功能诞生于社区。

某天，一位做系统推荐的用户在社区提出了需求，希望 Milvus 能提供一个新功能，可以返回向量距离在一定范围之内的结果。而这不是个例，开发者在做相似性查询时，经常需要对结果做二次过滤。

为了帮助用户解决这一问题，Milvus 推出了全新功能—— Range Search（范围搜索）。本文将带各位详解这一新功能，包括 Range Search 的基本介绍、使用场景及其背后的技术细节。

01.

什么是 Range Search？

顾名思义，Range Search 即范围搜索。不同于 KNN Search 返回最相似的 TOP-K 个结果，Range Search 会返回向量距离落于某一区间的 TOP-K 个结果。

那么，何时选择 Range Search 而非 Top-K 搜索？

Range Search 最典型的应用场景就是推荐系统。比如商品推荐，一个好的推荐系统，返回的应该是与用户点击的商品有一定相似度，但又不太相似的结果。太相似或太不相似的推荐都会导致推荐效果不尽如人意。

在有 Range Search 功能之前，做推荐系统的用户只能先执行一次 KNN Search，再在 Milvus 系统之外对查询结果进行二次过滤。如今，有了 Range Search 功能，他们可以直接调用 Range Search，一次性得到所需要的结果。

Range Search 新增了 2 个参数，分别是：

• radius（半径） - 指相似性的外边界
• range_filter（范围过滤器） - 指相似性的内边界

02.

Range Search 的技术实现细节

接下来，我们深入 Range Search 功能的架构和算法，探讨其优势、局限性以及 Range Search 与第三方算法库集成。

Range Search 重用了现有的搜索流程，二者在上层所有数据通路几乎完全是一样的。以下是接收到搜索请求时所采取的步骤：

• SDK 接到一个用户的查询请求，在 search param 中包含了 radius 和 range_filter 信息；
• proxy 在收到这个查询请求后，生成一个 SearchTask 传给 querynode；
• querynode 在收到 SearchTask 后，通过 cgo 调用 segcore 的 Search 接口；
• segcore 会解析 search_param 中带的参数，如果有 radius，则调用 knowhere::RangeSearch；
• knowhere 再根据索引类型调用到对应的第三方库的 range_search 函数。

目前，所有的第三方库索引都只支持单边 Range Search，也就是只接收一个参数 radius，而且返回的结果是全量未排序的结果。下表概述了不同索引类型的 Range Search 策略“

对于 binary 类型的索引，HAMMING 和 JACCARD 全部都支持 Range Search，SUBSTRUCTURE/SUPERSTRUCTURE 由于返回值是 true/false，不满足 Range Search 的语义，所以不支持 Range Search。其余 float 类型索引，对于 L2/IP/COSINE 全部支持 Range Search。

下表是所有支持 Range Search 的索引类型和 metric type：

03.

Range Search 使用方法

如需使用 Range Search，只需要修改搜索请求中的搜索参数。接下来我会讲一下的详细使用指南，在指南的最后还提供了 Python 示例代码。

• 开始前
• 请确保已安装并运行 Milvus。
• 请确保已创建 1 个 Collection，并为该 Collection 创建索引。
• Range Search 参数
• radius：必要参数。决定搜索请求将执行 Range Search 还是 KNN Search。
• range_filter：可选参数。如果设置该参数，函数将对结果进行二次过滤。

通过上述两个参数，我们可以根据不同应用场景和需求微调 Range Search 的行为。以下为示例代码：

default_index = {"index_type": "HNSW","metric_type": "L2","params": {"M":48,"efConstruction":500}
}
collection.create_index("float_vector", default_index)
search_params = {"metric_type": "L2","limit": TOPK,
                 "params": {"ef":32,"range_filter":1.0,"radius":2.0}
}
res = collection.search(vectors[:nq], "float_vector", search_params, limit)

04.

参数检查

下表列出了所有 metric type 对应的 radius 合法值范围：

由于不同 metric type 对应的 radius 合法值范围不同，Milvus 不会检查 radius 的合法性，而是只检查 radius 和 range_filter 的相对合法性：

• 对于 L2/Hamming/Jaccard，range_filter < radius
• 对于 IP/Cosine，range_filter > radius

05.

总结

Milvus 的 Range Search 功能不仅限于推荐引擎，还可以广泛应用在内容匹配、异常检测和 NLP 搜索等任务中。通过利用 radius 和 range_filter 两个参数，用户可以精准定制查询，满足不同用例的需求。

Range Search 现已正式登陆 Zilliz Cloud Beta 版！如需体验 Range Search 功能，请将 Zilliz Cloud（https://zilliz.com.cn/cloud） 集群升级至 Beta 版或下载 Milvus 2.3.x（https://milvus.io/docs/install_cluster-milvusoperator.md）。另外，如果大家在使用 Range Search 功能中遇到任何问题或者建议，欢迎向我们反馈！

本文作者

蔡宇东 Zilliz 高级软件工程师