基于向量数据相似性检索

最近更新时间:2024-06-25 09:55:41

我的收藏

功能介绍

基于相似度匹配的查询方式,search()接口用于查找与给定查询向量相似的文档,返回指定的 Top K 个最相似的文档,并支持搭配自定义的标量字段的 Filter 表达式一并进行相似度检索。

请求示例

如下示例,相似性检索与向量数据{0.3123, 0.43, 0.213} {0.233, 0.12, 0.97} 相似的向量数据。
var (
ctx = context.Background()
database = "go-sdk-test-db"
collectionName = "go-sdk-test-coll"
)
col := client.Database(database).Collection(collectionName)
searchRes, _ := col.Search(ctx, [][]float32{
{0.3123, 0.43, 0.213},
{0.233, 0.12, 0.97},
}, &tcvectordb.SearchDocumentParams{
Params: &tcvectordb.SearchDocParams{Ef: 100},
RetrieveVector: false,
Limit: 10,
})
log.Printf("search by vector-----------------")
for i, docs := range searchRes.Documents {
log.Printf("doc %d result: ", i)
for _, doc := range docs {
log.Printf("document: %+v", doc)
}
}
参数
子参数
是否必选
参数含义
配置方法
Vectors
-
表示要查询的向量列表。
数组元素数量最大为20。
SearchDocumentParams
Filter
设置查询过滤条件。
使用创建 Collection 指定的 Filter 索引的字段设置查询过滤表达式。Filter 表达式格式为 <field_name><operator><value>,多个表达式之间支持 and(与)、or(或)、not(非)关系。具体信息,请参见 混合检索。其中:
<field_name>:表示要过滤的字段名。
<operator>:表示要使用的运算符。
string :匹配单个字符串值(=)、排除单个字符串值(!=)、匹配任意一个字符串值(in)、排除所有字符串值(not in)。其对应的 Value 必须使用英文双引号括起来。
uint64:大于(>)、大于等于(>=)、等于(=)、小于(<)、小于等于(<=)。例如:expired_time > 1623388524。
array:数组类型,包含数组元素之一(include)、排除数组元素之一(exclude)、全包含数组元素(include all)。例如,name include (\\"Bob\\", \\"Jack\\")。
<value>:表示要匹配的值。
示例:Filter('author="jerry"').And('page>20')。
Params
指定索引查询参数。
索引类型不同,检索时,所需配置的参数不同。
FLAT :无需指定参数。
HNSW 类型:需配置参数 Ef,指定需要访问向量的数目。取值范围[1,32768],默认为10。如何设置,请参见选型指南。
IVF 系列:需设置参数 nprobe ,指定所需查询的单位数量。取值范围[1,nlist],其中 nlist 在创建 Collection 时已设置,可通过 ListCollection() 查看。

RetrieveVector

标识是否需要返回检索结果的向量值。
取值如下所示:
true:需要。
false:不需要。默认为 false。
Limit
指定返回最相似的 Top K 的 K 的值。
如果插入的数据不足 K 条,则返回实际插入的 Document 数量。
OutputFields
配置需返回的字段。
以数组形式配置需返回的字段。若不配置,返回所有字段。
说明:
OutputFields RetrieveVector 参数均可以配置是否输出向量值,二者任意一个配置需输出向量字段,则将输出向量字段。

返回信息

说明:
输出结果的顺序,与搜索时设置的 vectors 配置的向量值的顺序一致。
每一个查询结果都返回 TopK 条相似度计算的结果。其中,K 为 limit 设置的数值,如果插入的数据不足 K 条,则返回实际插入的 Document 数量。
检索结果会按照与查询向量的相似程度进行排列,相似度最高的结果会排在最前面,相似度最低的结果则排在最后面。相似程度则通过 L2(欧几里得距离)、IP(内积)或 COSINE(余弦相似度)计算得出的分数来衡量,输出参数 score 表示相似性计算分数。其中,L2和 IP 计算所得的分数越小,表示与搜索值越相似;而 COSINE 计算所得的分数越大,表示与搜索值越相似。
search by vector----------------- 2023/12/20 19:11:16 doc 0 result: 2023/12/20 19:11:16 document: {Id:0005 Vector:[] Score:0.97885 Fields:map[author:罗贯中 bookName:三国演义 page:25 segment:玄德曰:“布乃当今英勇之士,可出迎之。”糜竺曰:“吕布乃虎狼之徒,不可收留;收则伤人矣。 tag:[曹操 诸葛亮 刘备]]} 2023/12/20 19:11:16 document: {Id:0004 Vector:[] Score:0.975398 Fields:map[author:罗贯中 bookName:三国演义 page:24 segment:布大惊,与陈宫商议。宫曰:“闻刘玄德新领徐州,可往投之。”布从其言,竟投徐州来。有人报知玄德。 tag:[曹操 诸葛亮 刘备]]} 2023/12/20 19:11:16 document: {Id:0003 Vector:[] Score:0.971423 Fields:map[author:罗贯中 bookName:三国演义 page:23 segment:细作探知这个消息,飞报吕布。 tag:[曹操 诸葛亮 刘备]]} 2023/12/20 19:11:16 document: {Id:0002 Vector:[] Score:0.966884 Fields:map[author:吴承恩 bookName:西游记 page:22 segment:正大光明,忠良善果弥深。些些狂妄天加谴,眼前不遇待时临。 tag:[孙悟空 猪八戒 唐僧]]} 2023/12/20 19:11:16 document: {Id:0001 Vector:[] Score:0.961738 Fields:map[author:吴承恩 bookName:西游记 page:21 segment:富贵功名,前缘分定,为人切莫欺心。 tag:[孙悟空 猪八戒 唐僧]]} 2023/12/20 19:11:16 doc 1 result: 2023/12/20 19:11:16 document: {Id:0001 Vector:[] Score:0.763192 Fields:map[author:吴承恩 bookName:西游记 page:21 segment:富贵功名,前缘分定,为人切莫欺心。 tag:[孙悟空 猪八戒 唐僧]]} 2023/12/20 19:11:16 document: {Id:0002 Vector:[] Score:0.754486 Fields:map[author:吴承恩 bookName:西游记 page:22 segment:正大光明,忠良善果弥深。些些狂妄天加谴,眼前不遇待时临。 tag:[孙悟空 猪八戒 唐僧]]} 2023/12/20 19:11:16 document: {Id:0003 Vector:[] Score:0.745703 Fields:map[author:罗贯中 bookName:三国演义 page:23 segment:细作探知这个消息,飞报吕布。 tag:[曹操 诸葛亮 刘备]]} 2023/12/20 19:11:16 document: {Id:0004 Vector:[] Score:0.736874 Fields:map[author:罗贯中 bookName:三国演义 page:24 segment:布大惊,与陈宫商议。宫曰:“闻刘玄德新领徐州,可往投之。”布从其言,竟投徐州来。有人报知玄德。 tag:[曹操 诸葛亮 刘备]]} 2023/12/20 19:11:16 document: {Id:0005 Vector:[] Score:0.728028 Fields:map[author:罗贯中 bookName:三国演义 page:25 segment:玄德曰:“布乃当今英勇之士,可出迎之。”糜竺曰:“吕布乃虎狼之徒,不可收留;收则伤人矣。 tag:[曹操 诸葛亮 刘备]]}
参数名
参数含义
Id
Document 的 ID 信息。
Vector
Document 的向量值。
Score
表示查询向量与检索结果向量之间的相似性计算分数。
Fields
Document 其他自定义的标量字段。例如:author、bookName。