单路稀疏向量相似性检索

最近更新时间:2025-07-01 10:19:42

我的收藏

接口定义

本接口FullTextSearch()基于稀疏向量实现全文检索,对查询词与文档内容进行匹配,并按相关度排序结果。
FullTextSearch(ctx context.Context, databaseName string, collectionName string, params tcvectordb.FullTextSearchDocumentParams) (result *tcvectordb.SearchDocumentResult, err error)

使用示例

说明:
如需使用稀疏向量,至少需要升级 Go SDK 至 v1.5.1 版本,推荐使用1.5.4版本使用最新的 TerminateAfterCutoffFrequency 等新特性,使得召回效果和性能更佳。
腾讯云向量数据库团队提供了一款稀疏向量工具包,旨在帮助用户高效生成稀疏向量。具体信息,请参见 工具介绍
var (
ctx = context.Background()
database = "go-sdk-test-db"
collectionName = "go-sdk-test-coll"
)
bm25, err := encoder.NewBM25Encoder(&encoder.BM25EncoderParams{Bm25Language: "zh"})
if err != nil {
log.Fatalf(err.Error())
}
sparseVec, err := bm25.EncodeQuery("什么是向量数据库")
if err != nil {
log.Fatalf(err.Error())
}
keywordSearch := &tcvectordb.MatchOption{
FieldName: "sparse_vector",
Data: sparseVecs,
TerminateAfter: 4000,
CutoffFrequency: 0.1,
}
limit := 5
searchRes, err := client.FullTextSearch(ctx, database, collectionName, tcvectordb.FullTextSearchDocumentParams{
Match: keywordSearch,
Limit: &limit,
OutputFields: []string{"id", "sparse_vector"},
})
if err != nil {
return err
}

// 输出相似性检索结果,检索结果为二维数组,每一位为一组返回结果,分别对应search时指定的多个向量
for i, item := range searchRes.Documents {
log.Printf("SearchDocumentResult, index: %d ==================", i)
for _, doc := range item {
log.Printf("SearchDocumentResult: %+v", doc)
}
}

入参描述

参数
子参数
是否必选
参数含义
配置方法及要求
databaseName
-
指定检索的数据库名。
Database 命名要求如下:
只能使用英文字母,数字,下划线_、中划线-,并以英文字母开头。
长度要求:[1,128]。
collectionName
-
指定检索数据的集合。
Collection 命名要求如下:
只能使用英文字母,数字,下划线_、中划线-,并以英文字母开头。
长度要求:[1,128]。
FullTextSearchDocumentParams
Match
稀疏向量检索配置。
FieldName:稀疏向量的字段名,例如:sparse_vector。
Data:检索的稀疏向量,当前仅支持输入一个稀疏向量。
TerminateAfter:设置检索数量上限,即检索数量超过 TerminateAfter 值之后,提前终止检索行为,可以有效的控制速率,在数据量较大的情况下,推荐经验值:4000。
CutoffFrequency:设置高频词出现的频次或频率上限,即词频大于 CutoffFrequency 的值之后,该关键词被忽略。
频数:可指定关键词出现的频数,取值为正整数,范围为[1,+∞]。
频率:可指定为关键词出现的频率,取值范围为[0,1]的小数。例如:0.8。
说明:
CutoffFrequency 可以在排序阶段去掉高频词,在数据量较大的情况下(>=50w)推荐值:0.1。
Filter
设置 filter
设置标量字段的 Filter 表达式。格式为 <field_name><operator><value>,多个表达式之间支持 and(与)、or(或)、not(非)关系。具体信息,请参见 Filter 条件表达式。其中:
<field_name>:表示要过滤的字段名。
<operator>:表示要使用的运算符。
string :匹配单个字符串值(=)、排除单个字符串值(!=)、匹配任意一个字符串值(in)、排除所有字符串值(not in)。其对应的 Value 必须使用英文双引号括起来。
uint64:大于(>)、大于等于(>=)、等于(=)、小于(<)、小于等于(<=)、不等于(!=)。例如:expired_time > 1623388524。
array:数组类型,包含数组元素之一(include)、排除数组元素之一(exclude)、全包含数组元素(include all)。例如,name include (\\"Bob\\", \\"Jack\\")。
json:json 类型的 Filter 表达式语法和 json 字段的键值类型保持一致。若访问 Json 对象中的键,使用点(.)符号连接。例如:Json 类型的字段 bookInfo ,其键 bookName 的 Filter 表达式如下所示。更多信息,请参见 Json 类型表达式
filter := tcvectordb.NewFilter(`bookInfo.bookName="西游记"`)
<value>:表示要匹配的值。

RetrieveVector

标识是否需要返回检索结果的向量值。
true:需要。
false:不需要。默认为 false。
Limit
指定返回最相似的 Top K 的 K 的值。
K 为大于0的正整数。
OutputFields
配置需返回的字段。
以数组形式配置需返回的字段。若不配置,返回所有字段。
说明:
OutputFields RetrieveVector 参数均可以配置是否输出向量值,二者任意一个配置需输出向量字段,则将输出向量字段。
输出 Json 字段时,OutputFields 仅支持指定 Json 字段的名称,而不支持直接指定 Json 字段内部的键(key)。例如,写入"a": {"b": "test", "c": 12}OutputFields 只能指定返回整个 "a" 字段,而无法单独指定返回 "a.b" 。

出参描述

2025/06/17 20:00:27 ------------------------------ FullTextSearch ------------------------------
2025/06/17 20:00:27 SearchDocumentResult, index: 0 ==================
2025/06/17 20:00:27 SearchDocument: {Id:0000 Vector:[] SparseVector:[] Score:0.36539772 Fields:map[text:腾讯云向量数据库(Tencent Cloud VectorDB)是一款全托管的自研企业级分布式数据库服务,专用于存储、索引、检索、管理由深度神经网络或其他机器学习模型生成的大量多维嵌入向量。]}
2025/06/17 20:00:27 SearchDocument: {Id:0001 Vector:[] SparseVector:[] Score:0.18224944 Fields:map[text:作为专门为处理输入向量查询而设计的数据库,它支持多种索引类型和相似度计算方法,单索引支持10亿级向量规模,高达百万级 QPS 及毫秒级查询延迟。]}
2025/06/17 20:00:27 SearchDocument: {Id:0004 Vector:[] SparseVector:[] Score:0.17610866 Fields:map[text:腾讯云向量数据库可以和大语言模型 LLM 配合使用。企业的私域数据在经过文本分割、向量化后,可以存储在腾讯云向量数据库中,构建起企业专属的外部知识库,从而在后续的检索任务中,为大模型提供提示信息,辅助大模型生成更加准确的答案。]}
2025/06/17 20:00:27 SearchDocument: {Id:0003 Vector:[] SparseVector:[] Score:0.16722518 Fields:map[text:腾讯云向量数据库(Tencent Cloud VectorDB)作为一种专门存储和检索向量数据的服务提供给用户, 在高性能、高可用、大规模、低成本、简单易用、稳定可靠等方面体现出显著优势。 ]}
参数名
参数含义
id
Document 的 ID 信息。
sparse_vector
稀疏向量。
score
表示查询稀疏向量与检索结果向量之间的相似性计算分数。
other_scalar_field
Document 其他自定义的标量字段。