向量数据库稠密向量与稀疏向量高阶混合检索

接口定义
本接口HybridSearch()基于稠密向量与稀疏向量，对查询向量与文档内容进行匹配，并按相关度排序结果。
HybridSearch(ctx context.Context, databaseName string, collectionName string, params HybridSearchDocumentParams) (result *SearchDocumentResult, err error)
使用示例
说明：
如需使用稀疏向量，至少需要升级 Go SDK 至 v1.5.1 版本，推荐使用1.5.4版本使用最新的 TerminateAfter、CutoffFrequency 等新特性，使得召回效果和性能更佳。
腾讯云向量数据库团队提供了一款稀疏向量工具包，旨在帮助用户高效生成稀疏向量。具体信息，请参见 工具介绍。
将文本转换稀疏向量检索
直接写入稀疏向量检索
Embedding 文本与稀疏向量检索
var (
    ctx                 = context.Background()
    database            = "go-sdk-test-db"
    collectionName      = "go-sdk-test-coll"
)
bm25, err := encoder.NewBM25Encoder(&encoder.BM25EncoderParams{Bm25Language: "zh"})
if err != nil {
    log.Fatalf(err.Error())
}
sparseVec, err := bm25.EncodeQuery("腾讯云向量数据库")
if err != nil {
    log.Fatalf(err.Error())
}
annSearch := &tcvectordb.AnnParam{
    FieldName: "vector",
    Data:      []float32{0.2123, 0.21, 0.213},
}
keywordSearch := &tcvectordb.MatchOption{
    FieldName: "sparse_vector",
    Data:      sparseVecs,
    TerminateAfter:  4000,
    CutoffFrequency: 0.1,
}
limit := 2
searchRes, err := client.HybridSearch(ctx, database, collectionName, tcvectordb.HybridSearchDocumentParams{
    AnnParams: []*tcvectordb.AnnParam{annSearch},
    Match:     []*tcvectordb.MatchOption{keywordSearch},
    // rerank也支持rrf，使用方式见下
    // Rerank: &tcvectordb.RerankOption{
    //  Method:    tcvectordb.RerankRrf,
    //  RrfK: 1,
    // },
    Rerank: &tcvectordb.RerankOption{
       Method:    "weighted",
       FieldList: []string{"vector", "sparse_vector"},
       Weight:    []float32{0.6, 0.4},
    },
    Limit:        &limit,
    OutputFields: []string{"id", "sparse_vector"},
})
if err != nil {
    return err
}

// 输出相似性检索结果，检索结果为二维数组，每一位为一组返回结果，分别对应search时指定的多个向量
for i, item := range searchRes.Documents {
    log.Printf("HybridSearchDocumentResult, index: %d ==================", i)
    for _, doc := range item {
       log.Printf("HybridSearchDocument: %+v", doc)
    }
}
var (
    ctx                 = context.Background()
    database            = "go-sdk-test-db"
    collectionName      = "go-sdk-test-coll"
)
annSearch := &tcvectordb.AnnParam{
    FieldName: "vector",
    Data:      []float32{0.2123, 0.21, 0.213},
}
keywordSearch := &tcvectordb.MatchOption{
    FieldName: "sparse_vector",
    Data: []encoder.SparseVecItem{
        {TermId: 1172076521, Score: 0.71296215},
        {TermId: 3434399993, Score: 0.71296215},
    },
}
limit := 2
searchRes, err := client.HybridSearch(ctx, database, collectionName, tcvectordb.HybridSearchDocumentParams{
    AnnParams: []*tcvectordb.AnnParam{annSearch},
    Match:     []*tcvectordb.MatchOption{keywordSearch},
    // rerank也支持rrf，使用方式见下
    // Rerank: &tcvectordb.RerankOption{
    //  Method:    tcvectordb.RerankRrf,
    //  RrfK: 1,
    // },
    Rerank: &tcvectordb.RerankOption{
        Method:    tcvectordb.RerankWeighted,
        FieldList: []string{"vector", "sparse_vector"},
        Weight:    []float32{0.1, 0.9},
    },
    Limit:        &limit,
    OutputFields: []string{"id", "sparse_vector"},
})
if err != nil {
    return err
}
// 输出相似性检索结果，检索结果为二维数组，每一位为一组返回结果，分别对应search时指定的多个向量
for i, item := range searchRes.Documents {
    log.Printf("HybridSearchDocumentResult, index: %d ==================", i)
    for _, doc := range item {
        log.Printf("HybridSearchDocument: %+v", doc)
    }
}
var (
    ctx                 = context.Background()
    database            = "go-sdk-test-db"
    collectionName      = "go-sdk-test-coll"
)
searchText := "腾讯云向量数据库"
annSearch := &tcvectordb.AnnParam{
    FieldName: "text",
    Data:      searchText,
}
sparseVec, _ := bm25.EncodeQuery(searchText)
keywordSearch := &tcvectordb.MatchOption{
    FieldName:       "sparse_vector",
    Data:            sparseVec,
    TerminateAfter:  4000,
    CutoffFrequency: 0.1,
}
limit := 2
searchRes, err := coll.HybridSearch(ctx, database, collectionName, tcvectordb.HybridSearchDocumentParams{
    AnnParams: []*tcvectordb.AnnParam{annSearch},
    Match:     []*tcvectordb.MatchOption{keywordSearch},
    Rerank: &tcvectordb.RerankOption{
        Method:    tcvectordb.RerankWeighted,
        FieldList: []string{"vector", "sparse_vector"},
        Weight:    []float32{0.1, 0.9},
    },
    Limit:        &limit,
    OutputFields: []string{"id", "sparse_vector"},
})
if err != nil {
    panic(err)
}
// 输出相似性检索结果，检索结果为二维数组，每一位为一组返回结果，分别对应search时指定的多个向量
for i, item := range searchRes.Documents {
    log.Printf("HybridSearchDocumentResult, index: %d ==================", i)
    for _, doc := range item {
        log.Printf("HybridSearchDocument: %+v", doc)
    }
}
入参描述
参数
子参数
是否必选
参数含义
配置方法及要求
databaseName 
-
是
指定检索的数据库名。
Database 命名要求如下：
只能使用英文字母，数字，下划线_、中划线-，并以英文字母开头。
长度要求：[1,128]。
collectionName 
-
是
指定检索数据的集合。
Collection 命名要求如下：
只能使用英文字母，数字，下划线_、中划线-，并以英文字母开头。
长度要求：[1,128]。
HybridSearchDocumentParams
AnnParam
是
设置向量检索信息。
FieldName：检索的字段名，支持设置为：vector 或 text。
说明：
其中，vector 为向向量数据的字段名，不可更改；text 为创建 Collection 时，开启 Embedding 功能自定义的原始文本字段名，请以实际定义为准，二者只能选择其中之一。
Data：检索的数据列表，当前仅支持输入一条向量或原始文本。
Params：检索参数，与索引类型相关。
HNSW 类型：需配置参数 ef，指定需要访问向量的数目。取值范围[1,32768]，默认为10。
IVF 系列：需设置参数 nprobe，指定所需查询的单位数量。取值范围[1,nlist]，其中 nlist 在创建 Collection 时已设置。
Limit：指定稠密向量返回的数量。
﻿
Match
否
稀疏向量检索配置。
FieldName：稀疏向量的字段名，例如：sparse_vector。
Data：检索的稀疏向量，当前仅支持输入一个稀疏向量。
Limit：指定返回的数量。
TerminateAfter：设置检索数量上限，即检索数量超过 TerminateAfter 值之后，提前终止检索行为，可以有效的控制速率，在数据量较大的情况下，推荐经验值：4000。
CutoffFrequency：设置高频词出现的频次或频率上限，即词频大于 CutoffFrequency 的值之后，该关键词被忽略。
频数：可指定关键词出现的频数，取值为正整数，范围为[1,+∞]。
频率：可指定为关键词出现的频率，取值范围为[0,1]的小数。例如：0.8。
说明：
CutoffFrequency 可以在排序阶段去掉高频词，在数据量较大的情况下（>=50w）推荐值：0.1。
﻿
Rerank
否
检索中重排序（rerank）的配置。
参数 Method 指定 Rerank 的方法，枚举如下值：
weighted：基于不同字段的加权组合来进行排序。
field_list：列出用于加权计算的字段列表。例如，field_list=: ['vector', 'sparse_vector']表示密集型与稀疏型加权计算。
weight：定义了 "field_list" 中每个字段的权重，例如，weight=[0.9, 0.1]表示"vector" 字段的权重是0.9，"sparse_vector" 字段的权重是0.1。
rrf：一种融合多个搜索方法的排名结果，通过为每个文档分配倒数排名分数并合并这些分数来生成一个新的综合排名，从而提高搜索结果的准确性和相关度。k 是一个用于计算倒数排名分数的常数，其作用是调整分数计算公式，以控制排名分数的分布。例如：rerank=RRFRerank(k=1)。
﻿
Filter
否
设置 filter
设置标量字段的 Filter 表达式。格式为 <field_name><operator><value>，多个表达式之间支持 and（与）、or（或）、not（非）关系。具体信息，请参见 Filter 条件表达式。其中： 
<field_name>：表示要过滤的字段名。
<operator>：表示要使用的运算符。
string ：匹配单个字符串值（=）、排除单个字符串值（!=）、匹配任意一个字符串值（in）、排除所有字符串值（not in）。其对应的 Value 必须使用英文双引号括起来。
uint64：大于（>）、大于等于（>=）、等于（=）、小于（<）、小于等于（<=）、不等于（!=）。例如：expired_time > 1623388524。
array：数组类型，包含数组元素之一（include）、排除数组元素之一（exclude）、全包含数组元素（include all）。例如，name include (\\"Bob\\", \\"Jack\\")。
json：json 类型的 Filter 表达式语法和 json 字段的键值类型保持一致。若访问 Json 对象中的键，使用点（.）符号连接。例如：Json 类型的字段 bookInfo ，其键 bookName 的 Filter 表达式如下所示。更多信息，请参见 Json 类型表达式。
filter := tcvectordb.NewFilter(`bookInfo.bookName="西游记"`)
<value>：表示要匹配的值。
﻿
﻿
RetrieveVector
﻿
否
标识是否需要返回检索结果的向量值。
true：需要。
false：不需要。默认为 false。
﻿
Limit
是
指定返回最相似的 Top K 的 K 的值。
K 为大于0的正整数。
﻿
OutputFields
否
配置需返回的字段。
以数组形式配置需返回的字段。若不配置，返回所有字段。
说明：
OutputFields 与 RetrieveVector 参数均可以配置是否输出向量值，二者任意一个配置需输出向量字段，则将输出向量字段。
输出 Json 字段时，OutputFields 仅支持指定 Json 字段的名称，而不支持直接指定 Json 字段内部的键（key）。例如，写入"a": {"b": "test", "c": 12}，OutputFields 只能指定返回整个 "a" 字段，而无法单独指定返回 "a.b" 。
出参描述
2024/09/29 19:51:56 HybridSearchDocumentResult, index: 0 ==================
2024/09/29 19:51:56 HybridSearchDocument: {Id:0003 Vector:[] SparseVector:[{TermId:21 Score:0.9827807} {TermId:51 
Score:0.5527807} {TermId:1001 Score:0.445}] Score:0.12634 Fields:map[]}
2024/09/29 19:51:56 HybridSearchDocument: {Id:0002 Vector:[] SparseVector:[{TermId:21 Score:0.9727807} {TermId:51 
Score:0.5427807} {TermId:1001 Score:0.444}] Score:0.12376 Fields:map[]}
参数名
参数含义
id
Document 的 ID 信息。
vector
Document 的向量值。
SparseVector
稀疏向量。
score
表示查询向量与检索结果向量之间的相似性计算分数。
author、page、section
Document 其他自定义的标量字段。

参数	子参数	是否必选	参数含义	配置方法及要求
databaseName	-	是	指定检索的数据库名。	Database 命名要求如下：只能使用英文字母，数字，下划线_、中划线-，并以英文字母开头。长度要求：[1,128]。
collectionName	-	是	指定检索数据的集合。	Collection 命名要求如下：只能使用英文字母，数字，下划线_、中划线-，并以英文字母开头。长度要求：[1,128]。
HybridSearchDocumentParams	AnnParam	是	设置向量检索信息。	FieldName：检索的字段名，支持设置为：vector 或 text。说明：其中，vector 为向向量数据的字段名，不可更改；text 为创建 Collection 时，开启 Embedding 功能自定义的原始文本字段名，请以实际定义为准，二者只能选择其中之一。 Data：检索的数据列表，当前仅支持输入一条向量或原始文本。 Params：检索参数，与索引类型相关。 HNSW 类型：需配置参数 ef，指定需要访问向量的数目。取值范围[1,32768]，默认为10。 IVF 系列：需设置参数 nprobe，指定所需查询的单位数量。取值范围[1,nlist]，其中 nlist 在创建 Collection 时已设置。 Limit：指定稠密向量返回的数量。
		Match	否	稀疏向量检索配置。	FieldName：稀疏向量的字段名，例如：sparse_vector。 Data：检索的稀疏向量，当前仅支持输入一个稀疏向量。 Limit：指定返回的数量。 TerminateAfter：设置检索数量上限，即检索数量超过 TerminateAfter 值之后，提前终止检索行为，可以有效的控制速率，在数据量较大的情况下，推荐经验值：4000。 CutoffFrequency：设置高频词出现的频次或频率上限，即词频大于 CutoffFrequency 的值之后，该关键词被忽略。频数：可指定关键词出现的频数，取值为正整数，范围为[1,+∞]。频率：可指定为关键词出现的频率，取值范围为[0,1]的小数。例如：0.8。说明： CutoffFrequency 可以在排序阶段去掉高频词，在数据量较大的情况下（>=50w）推荐值：0.1。
		Rerank	否	检索中重排序（rerank）的配置。	参数 Method 指定 Rerank 的方法，枚举如下值： weighted：基于不同字段的加权组合来进行排序。 field_list：列出用于加权计算的字段列表。例如，field_list=: ['vector', 'sparse_vector']表示密集型与稀疏型加权计算。 weight：定义了 "field_list" 中每个字段的权重，例如，`weight=[0.9, 0.1]`表示"vector" 字段的权重是0.9，"sparse_vector" 字段的权重是0.1。 rrf：一种融合多个搜索方法的排名结果，通过为每个文档分配倒数排名分数并合并这些分数来生成一个新的综合排名，从而提高搜索结果的准确性和相关度。k 是一个用于计算倒数排名分数的常数，其作用是调整分数计算公式，以控制排名分数的分布。例如：`rerank=RRFRerank(k=1)`。
		Filter	否	设置 filter	设置标量字段的 Filter 表达式。格式为 <field_name><operator><value>，多个表达式之间支持 and（与）、or（或）、not（非）关系。具体信息，请参见 Filter 条件表达式。其中： <field_name>：表示要过滤的字段名。 <operator>：表示要使用的运算符。 string ：匹配单个字符串值（=）、排除单个字符串值（!=）、匹配任意一个字符串值（in）、排除所有字符串值（not in）。其对应的 Value 必须使用英文双引号括起来。 uint64：大于（>）、大于等于（>=）、等于（=）、小于（<）、小于等于（<=）、不等于（!=）。例如：expired_time > 1623388524。 array：数组类型，包含数组元素之一（include）、排除数组元素之一（exclude）、全包含数组元素（include all）。例如，name include (\\"Bob\\", \\"Jack\\")。 json：json 类型的 Filter 表达式语法和 json 字段的键值类型保持一致。若访问 Json 对象中的键，使用点（.）符号连接。例如：Json 类型的字段 bookInfo ，其键 bookName 的 Filter 表达式如下所示。更多信息，请参见 Json 类型表达式。 filter := tcvectordb.NewFilter(`bookInfo.bookName="西游记"`) <value>：表示要匹配的值。
		RetrieveVector	否	标识是否需要返回检索结果的向量值。	true：需要。 false：不需要。默认为 false。
		Limit	是	指定返回最相似的 Top K 的 K 的值。	K 为大于0的正整数。
		OutputFields	否	配置需返回的字段。	以数组形式配置需返回的字段。若不配置，返回所有字段。说明： OutputFields 与 RetrieveVector 参数均可以配置是否输出向量值，二者任意一个配置需输出向量字段，则将输出向量字段。输出 Json 字段时，OutputFields 仅支持指定 Json 字段的名称，而不支持直接指定 Json 字段内部的键（key）。例如，写入`"a": {"b": "test", "c": 12}`，OutputFields 只能指定返回整个 "a" 字段，而无法单独指定返回 "a.b" 。

参数名	参数含义
id	Document 的 ID 信息。
vector	Document 的向量值。
SparseVector	稀疏向量。
score	表示查询向量与检索结果向量之间的相似性计算分数。
author、page、section	Document 其他自定义的标量字段。

稠密向量与稀疏向量高阶混合检索

本页目录：

接口定义

使用示例

入参描述

出参描述