向量数据库稠密向量与稀疏向量高阶混合检索

接口定义
def hybrid_search(
    database_name: str,
    collection_name: str,
    ann: List[AnnSearch] | AnnSearch | None = None,
    match: List[KeywordSearch] | KeywordSearch | None = None,
    filter: Filter | str = None,
    rerank: Rerank | None = None,
    retrieve_vector: bool | None = None,
    output_fields: List[str] | None = None,
    limit: int | None = None,
    timeout: float | None = None,
    return_pd_object: bool = False,
    **kwargs: Any
) -> List[List[Dict | Document]]
使用示例
说明：
如需使用稀疏向量，至少需要升级 Python SDK 至1.4.5版本。推荐使用1.5.0版本使用最新的 terminate_after、cutoff_frequency 等新特性，使得召回效果和性能更佳。
腾讯云向量数据库团队提供了一款稀疏向量工具包，旨在帮助用户高效生成稀疏向量。具体信息，请参见 工具介绍。
根据向量数据检索
应用 Embedding 与稀疏向量混合检索
from tcvectordb.model.document import Document, AnnSearch, WeightedRerank, KeywordSearch
from tcvdb_text.encoder.bm25 import BM25Encoder
﻿
## 初始化稀疏向量编码器
bm25 = BM25Encoder.default('zh')
doc_lists = client.hybrid_search(
            database_name='db-test',
            collection_name='book-vector',
            ann=[
                AnnSearch(
                    field_name="vector",
                    data=[0.7123, 0.83, 0.913],
                ),
            ],
            match=[
                KeywordSearch(
                    field_name="sparse_vector",
                    data=bm25.encode_queries('红楼梦是什么小说'),
                    terminate_after=4000,
                    cutoff_frequency=0.1,
                ),
            ],
            rerank=WeightedRerank(
                field_list=['vector', 'sparse_vector'],
                weight=[0.3, 0.7],
            ),
            retrieve_vector=False,
            limit=1,
        )
for i, docs in enumerate(doc_lists):
    print(i)
    for doc in docs:
        print(doc)
输出信息，如下所示。
0
{'id': '0003', 'score': 0.68806, 'author': '曹雪芹', 'tags': ['贾宝玉', '林黛玉', '王熙凤'], 'page': 23, 'bookName': '红楼梦'}
from tcvectordb.model.document import Document, AnnSearch, WeightedRerank, KeywordSearch
from tcvdb_text.encoder.bm25 import BM25Encoder
﻿
## 初始化稀疏向量编码器
bm25 = BM25Encoder.default('zh')
# search topn similary documents with filter
doc_lists = client.hybrid_search(
            database_name='db-test',
            collection_name='book-emb',
            ann=[
                AnnSearch(
                    field_name="text",
                    data='什么是腾讯云向量数据库',
                    limit=2,
                ),
            ],
            match=[
                KeywordSearch(
                    field_name="sparse_vector",
                    terminate_after=4000,
                    cutoff_frequency=0.1,
                    data=bm25.encode_queries('向量数据库'),
                    limit=2,
                ),
            ],
            rerank=WeightedRerank(
                field_list=['vector', 'sparse_vector'],
                weight=[0.9, 0.1],
            ),
            retrieve_vector=False,
            limit=3,
        )
for i, docs in enumerate(doc_lists):
    print(i)
    for doc in docs:
        print(doc)
输出信息，如下所示。
0
{'id': '0004', 'score': 0.8072301149368286, 'text': '腾讯云向量数据库（Tencent Cloud VectorDB）作为一种专门存储和检索向量数据的服务提供给用户， 在高性能、高可用、大规模、低成本、简单易用、稳定可靠等方面体现出显著优势。 '}
{'id': '0001', 'score': 0.8068472146987915, 'text': '腾讯云向量数据库（Tencent Cloud VectorDB）是一款全托管的自研企业级分布式数据库服务，专用于存储、索引、检索、管理由深度神经网络或其他机器学习模型生成的大量多维嵌入向量。'}
{'id': '0002', 'score': 0.7084043622016907, 'text': '作为专门为处理输入向量查询而设计的数据库，它支持多种索引类型和相似度计算方法，单索引支持10亿级向量规模，高达百万级 QPS 及毫秒级查询延迟。'}
入参描述
参数
是否必选
参数含义
配置方法及要求
database_name
是
指定检索的数据库名。
Database 命名要求如下：
只能使用英文字母，数字，下划线_、中划线-，并以英文字母开头。
长度要求：[1,128]。
collection_name
是
指定检索的集合名。
Collection 命名要求如下：
只能使用英文字母，数字，下划线_、中划线-，并以英文字母开头。
长度要求：[1,128]。
ann
是
设置向量检索信息。
field_name：检索的字段名，支持设置为：vector 或 text。
说明：
其中，vector 为向向量数据的字段名，不可更改；text 为创建 Collection 时，开启 Embedding 功能自定义的原始文本字段名，请以实际定义为准，二者只能选择其中之一。
data：检索的数据列表，当前仅支持输入一条向量或原始文本。
params：检索参数，与索引类型相关。
HNSW 类型：需配置参数 ef，指定需要访问向量的数目。取值范围[1,32768]，默认为10。
IVF 系列：需设置参数 nprobe，指定所需查询的单位数量。取值范围[1,nlist]，其中 nlist 在创建 Collection 时已设置。
limit：指定稠密向量返回的数量。
match
否
稀疏向量检索配置。
field_name：稀疏向量的字段名，例如：sparse_vector。
data：检索的稀疏向量，当前仅支持输入一个稀疏向量。
limit：指定稀疏向量返回的数量。
terminate_after：设置检索数量上限，即检索数量超过 terminate_after 值之后，提前终止检索行为，可以有效的控制速率，在数据量较大的情况下，推荐经验值：4000。
cutoff_frequency：设置高频词出现的频次或频率上限，即词频大于 cutoff_frequency 的值之后，该关键词被忽略。
频数：可指定关键词出现的频数，取值为正整数，范围为[1,+∞]。
频率：可指定为关键词出现的频率，取值范围为[0,1]的小数。例如：0.8。
说明：
cutoff_frequency 可以排序阶段去掉高频词，在数据量较大的情况下（>=50w）推荐值：0.1。
rerank
否
检索中重排序（rerank）的配置。
参数 method 指定 Rerank 的方法，枚举如下值：
WeightedRerank：基于不同字段的加权组合来进行排序。
field_list：列出用于加权计算的字段列表。例如，field_list=: ['vector', 'sparse_vector']表示密集型与稀疏型加权计算。
weight：定义了 "field_list" 中每个字段的权重，例如，weight=[0.9, 0.1]表示"vector" 字段的权重是0.9，"sparse_vector" 字段的权重是0.1。
RRFRerank：一种融合多个搜索方法的排名结果，通过为每个文档分配倒数排名分数并合并这些分数来生成一个新的综合排名，从而提高搜索结果的准确性和相关度。k 是一个用于计算倒数排名分数的常数，其作用是调整分数计算公式，以控制排名分数的分布。例如：rerank=RRFRerank(k=1)。
filter
否
设置 Filter 表达式，过滤所需的数据。
Filter 表达式格式为 <field_name><operator><value>，多个表达式之间支持 and（与）、or（或）、not（非）关系。具体信息，请参见 Filter 条件表达式。其中： 
<field_name>：表示要过滤的字段名。
<operator>：表示要使用的运算符。
string ：匹配单个字符串值（=）、排除单个字符串值（!=）、匹配任意一个字符串值（in）、排除所有字符串值（not in）。其对应的 Value 必须使用英文双引号括起来。
uint64：大于（>）、大于等于（>=）、等于（=）、小于（<）、小于等于（<=）、不等于（!=）。例如：expired_time > 1623388524。
array：数组类型，包含数组元素之一（include）、排除数组元素之一（exclude）、全包含数组元素（include all）。例如，name include (\\"Bob\\", \\"Jack\\")。
json：json 类型的 Filter 表达式语法和 json 字段的键值类型保持一致。若访问 Json 对象中的键，使用点（.）符号连接。例如：Json 类型的字段 bookInfo ，其键 bookName 的 Filter 表达式如下所示。更多信息，请参见 Json 类型表达式。
filter_param='bookInfo.bookName in ("三国演义","西游记")'
<value>：表示要匹配的值。
retrieve_vector
否
标识是否需要返回检索结果的向量值。
True：需要。
 False：不需要。默认为 False。
limit
是
指定最终返回最相似的 Top K 条数据的 K 的值。
K 为大于0的正整数。
output_fields 
否
配置需返回的字段。
以数组形式配置需返回的字段。若不配置，返回所有字段。
说明：
output_fields 与 retrieve_vector 参数均可以配置是否输出向量值，二者任意一个配置需输出向量字段，则将输出向量字段。
输出 Json 字段时，output_fields 仅支持指定 Json 字段的名称，而不支持直接指定 Json 字段内部的键（key）。例如，写入"a": {"b": "test", "c": 12}，output_fields 只能指定返回整个 "a" 字段，而无法单独指定返回 "a.b" 。
出参描述
0
{'id': '0001', 'score': 0.874280571937561, 'vector': [0.21230000257492065, 0.23000000417232513, 0.21299999952316284], 'sparse_vector': [[2, 0.9599999785423279], [5, 0.5299999713897705], [100, 0.4429999887943268]], 'page': 21, 'tags': ['曹操', '诸葛亮', '刘备'], 'author': '罗贯中', 'bookName': '三国演义'}
参数名
参数含义
id
Document 的 ID 信息。
vector
Document 的向量值。
sparse_vector
稀疏向量值。
score
表示查询向量与检索结果向量之间的相似性计算分数。
author、page、section
Document 其他自定义的标量字段。

参数	是否必选	参数含义	配置方法及要求
database_name	是	指定检索的数据库名。	Database 命名要求如下：只能使用英文字母，数字，下划线_、中划线-，并以英文字母开头。长度要求：[1,128]。
collection_name	是	指定检索的集合名。	Collection 命名要求如下：只能使用英文字母，数字，下划线_、中划线-，并以英文字母开头。长度要求：[1,128]。
ann	是	设置向量检索信息。	field_name：检索的字段名，支持设置为：vector 或 text。说明：其中，vector 为向向量数据的字段名，不可更改；text 为创建 Collection 时，开启 Embedding 功能自定义的原始文本字段名，请以实际定义为准，二者只能选择其中之一。 data：检索的数据列表，当前仅支持输入一条向量或原始文本。 params：检索参数，与索引类型相关。 HNSW 类型：需配置参数 ef，指定需要访问向量的数目。取值范围[1,32768]，默认为10。 IVF 系列：需设置参数 nprobe，指定所需查询的单位数量。取值范围[1,nlist]，其中 nlist 在创建 Collection 时已设置。 limit：指定稠密向量返回的数量。
match	否	稀疏向量检索配置。	field_name：稀疏向量的字段名，例如：sparse_vector。 data：检索的稀疏向量，当前仅支持输入一个稀疏向量。 limit：指定稀疏向量返回的数量。 terminate_after：设置检索数量上限，即检索数量超过 terminate_after 值之后，提前终止检索行为，可以有效的控制速率，在数据量较大的情况下，推荐经验值：4000。 cutoff_frequency：设置高频词出现的频次或频率上限，即词频大于 cutoff_frequency 的值之后，该关键词被忽略。频数：可指定关键词出现的频数，取值为正整数，范围为[1,+∞]。频率：可指定为关键词出现的频率，取值范围为[0,1]的小数。例如：0.8。说明： cutoff_frequency 可以排序阶段去掉高频词，在数据量较大的情况下（>=50w）推荐值：0.1。
rerank	否	检索中重排序（rerank）的配置。	参数 method 指定 Rerank 的方法，枚举如下值： WeightedRerank：基于不同字段的加权组合来进行排序。 field_list：列出用于加权计算的字段列表。例如，field_list=: ['vector', 'sparse_vector']表示密集型与稀疏型加权计算。 weight：定义了 "field_list" 中每个字段的权重，例如，`weight=[0.9, 0.1]`表示"vector" 字段的权重是0.9，"sparse_vector" 字段的权重是0.1。 RRFRerank：一种融合多个搜索方法的排名结果，通过为每个文档分配倒数排名分数并合并这些分数来生成一个新的综合排名，从而提高搜索结果的准确性和相关度。k 是一个用于计算倒数排名分数的常数，其作用是调整分数计算公式，以控制排名分数的分布。例如：`rerank=RRFRerank(k=1)`。
filter	否	设置 Filter 表达式，过滤所需的数据。	Filter 表达式格式为 <field_name><operator><value>，多个表达式之间支持 and（与）、or（或）、not（非）关系。具体信息，请参见 Filter 条件表达式。其中： <field_name>：表示要过滤的字段名。 <operator>：表示要使用的运算符。 string ：匹配单个字符串值（=）、排除单个字符串值（!=）、匹配任意一个字符串值（in）、排除所有字符串值（not in）。其对应的 Value 必须使用英文双引号括起来。 uint64：大于（>）、大于等于（>=）、等于（=）、小于（<）、小于等于（<=）、不等于（!=）。例如：expired_time > 1623388524。 array：数组类型，包含数组元素之一（include）、排除数组元素之一（exclude）、全包含数组元素（include all）。例如，name include (\\"Bob\\", \\"Jack\\")。 json：json 类型的 Filter 表达式语法和 json 字段的键值类型保持一致。若访问 Json 对象中的键，使用点（.）符号连接。例如：Json 类型的字段 bookInfo ，其键 bookName 的 Filter 表达式如下所示。更多信息，请参见 Json 类型表达式。 filter_param='bookInfo.bookName in ("三国演义","西游记")' <value>：表示要匹配的值。
retrieve_vector	否	标识是否需要返回检索结果的向量值。	True：需要。 False：不需要。默认为 False。
limit	是	指定最终返回最相似的 Top K 条数据的 K 的值。	K 为大于0的正整数。
output_fields	否	配置需返回的字段。	以数组形式配置需返回的字段。若不配置，返回所有字段。说明： output_fields 与 retrieve_vector 参数均可以配置是否输出向量值，二者任意一个配置需输出向量字段，则将输出向量字段。输出 Json 字段时，output_fields 仅支持指定 Json 字段的名称，而不支持直接指定 Json 字段内部的键（key）。例如，写入`"a": {"b": "test", "c": 12}`，output_fields 只能指定返回整个 "a" 字段，而无法单独指定返回 "a.b" 。

参数名	参数含义
id	Document 的 ID 信息。
vector	Document 的向量值。
sparse_vector	稀疏向量值。
score	表示查询向量与检索结果向量之间的相似性计算分数。
author、page、section	Document 其他自定义的标量字段。

稠密向量与稀疏向量高阶混合检索

本页目录：

接口定义

使用示例

入参描述

出参描述