Doc ID 相似性检索

最近更新时间:2023-12-13 10:58:21

我的收藏

功能介绍

基于相似度匹配的查询方式,searchById()根据指定的 Document id 进行相似度查询,并返回指定的 Top K 个最相似的 Document。

请求示例

// link database
Database db = client.database("db-test");
// link collection
Collection collection = db.collection("book-vector");
// search by id
SearchByIdParam searchByIdParam = SearchByIdParam.newBuilder()
.withDocumentIds(Arrays.asList("0001", "0002", "0003", "0004", "0005"))
// 若使用 HNSW 索引,则需要指定参数 ef,ef 越大,召回率越高,但也会影响检索速度
.withParams(new HNSWSearchParams(200))
// 设置标量字段的 Filter 表达式,过滤所需查询的文档
.withRetrieveVector(true)
// 指定 Top K 的 K 值
.withLimit(2)
// 使用 filter 过滤数据               
.withFilter(new Filter("bookName=\\"三国演义\\""))
// 指定返回的 fields               
.withOutputFields(Arrays.asList("id", "bookName"))
.build();
List<List<Document>> siDocs = collection.searchById(searchByIdParam);
int i = 0;
for (List<Document> docs : siDocs) {
System.out.println("\\tres: " + i++);
for (Document doc : docs) {
System.out.println("\\tres: " + doc.toString());
}
}

请求参数

参数
是否必选
参数含义
配置方法
DocumentIds
待查询的文档 ID。
每个 ID 长度限制为[1,128]。数组元素数量最大为20。
Params
设置索引类型对应的检索参数。
若索引类型为 HNSW,设置检索参数 efConstruction,指定需要访问的候选向量的数目。取值范围[1,32768],默认为10。
若索引类型为 IVF 系列,设置参数 nprobe ,指定所需查询的单位数量。取值范围[1,nlist],其中 nlist 在创建 Collection 时已设置,可通过 listCollections()查看。

RetrieveVector

标识是否需要返回检索结果的向量值。
取值如下所示:
true:需要。
false:不需要。默认为 false。
Limit
指定返回最相似的 Top K 的 K 的值。
大于等于 0 的正整数。
Filter
设置 Filter 表达式。
使用创建 CollectionView 指定的 Filter 索引的字段设置查询过滤表达式。Filter 表达式格式为 <field_name><operator><value>,多个表达式之间支持 and(与)、or(或)、not(非)关系。具体信息,请参见 混合检索。其中:
<field_name>:表示要过滤的字段名。
<operator>:表示要使用的运算符。
string :匹配单个字符串值(=)、排除单个字符串值(!=)、匹配任意一个字符串值(in)、排除所有字符串值(not in)。其对应的 Value 必须使用英文双引号括起来。
uint64:大于(>)、大于等于(>=)、等于(=)、小于(<)、小于等于(<=)。例如:expired_time > 1623388524。
array:数组类型,包含数组元素之一(include)、排除数组元素之一(exclude)、全包含数组元素(include all)。例如,name include (\\"Bob\\", \\"Jack\\")。
<value>:表示要匹配的值。
示例:Filter('author="jerry"').And('page>20')
OutputFields
配置需返回的字段。
以数组形式配置需返回的字段。若不配置,返回所有字段。
说明:
OutputFields RetrieveVector参数均可以配置是否输出向量值,二者任意一个配置需输出向量字段,则将输出向量字段。


输出参数

查看输出,如下所示。
说明:
输出的 Document ID 顺序与查询时配置的参数 document_ids 输入的顺序一致。
每一个查询结果都返回 TopK 条相似度计算的结果。其中,K 为 limit 设置的数值,如果插入的数据不足 K 条,则返回实际插入的 Document 数量。
检索结果会按照与查询向量的相似程度进行排列,相似度最高的结果会排在最前面,相似度最低的结果则排在最后面。相似程度则通过 L2(欧几里得距离)、IP(内积)或 COSINE(余弦相似度)计算得出的分数来衡量,输出参数 score 表示相似性计算分数。其中,L2和 IP 计算所得的分数越小,表示与搜索值越相似;而 COSINE 计算所得的分数越大,表示与搜索值越相似。
res: 0
res: {"id":"0003","vector":[0.21230000257492065,0.23000000417232513,0.21299999952316284],"score":0.9990617632865906,"bookName":"三国演义"}
res: {"id":"0004","vector":[0.21230000257492065,0.23999999463558197,0.21299999952316284],"score":0.9979545474052429,"bookName":"三国演义"}
res: 1
res: {"id":"0003","vector":[0.21230000257492065,0.23000000417232513,0.21299999952316284],"score":0.9997729659080505,"bookName":"三国演义"}
res: {"id":"0004","vector":[0.21230000257492065,0.23999999463558197,0.21299999952316284],"score":0.9991196990013123,"bookName":"三国演义"}
res: 2
res: {"id":"0003","vector":[0.21230000257492065,0.23000000417232513,0.21299999952316284],"score":1.0000001192092896,"bookName":"三国演义"}
res: {"id":"0004","vector":[0.21230000257492065,0.23999999463558197,0.21299999952316284],"score":0.9997869729995728,"bookName":"三国演义"}
res: 3
res: {"id":"0004","vector":[0.21230000257492065,0.23999999463558197,0.21299999952316284],"score":1.0,"bookName":"三国演义"}
res: {"id":"0005","vector":[0.21230000257492065,0.25,0.21299999952316284],"score":0.9998002052307129,"bookName":"三国演义"}
res: 4
res: {"id":"0005","vector":[0.21230000257492065,0.25,0.21299999952316284],"score":0.9999998807907104,"bookName":"三国演义"}
res: {"id":"0004","vector":[0.21230000257492065,0.23999999463558197,0.21299999952316284],"score":0.9998002052307129,"bookName":"三国演义"}
参数名
参数含义
id
Document 的 ID 信息。
vector
Document 的向量值。
score
表示查询向量与检索结果向量之间的相似性计算分数。
author、page、section
Document 其他自定义的标量字段。