接口定义
public HybridSearchRes hybridSearch(String database, String collection, HybridSearchParam param)
使用示例
说明:
如需使用稀疏向量,至少需要升级 Java SDK 至2.0.16版本,推荐使用2.1.1版本使用最新的 TerminateAfter、CutoffFrequency 等新特性,使得召回效果和性能更佳。
腾讯云向量数据库团队提供了一款稀疏向量工具包,旨在帮助用户高效生成稀疏向量。具体信息,请参见 工具介绍。
SparseVectorBm25Encoder encoder = SparseVectorBm25Encoder.getBm25Encoder("zh");HybridSearchParam hybridSearchParam = HybridSearchParam.newBuilder().withAnn(Arrays.asList(AnnOption.newBuilder().withFieldName("vector").withData((Arrays.asList(0.3123, 0.43, 0.213))).build())).withMatch(Arrays.asList(MatchOption.newBuilder().withFieldName("sparse_vector").withData(encoder.encodeQueries(Arrays.asList("正大光明,忠良善果弥深")))//.withData(Arrays.asList(Pair.of(2l, 0.96f))).withCutoffFrequency(0.1).withTerminateAfter(4000).build()))// 指定 Top K 的 K 值.withRerank(new WeightRerankParam(Arrays.asList("vector","sparse_vector"), Arrays.asList(0.9, 0.1))).withLimit(1).withRetrieveVector(true).build();List<List<Document>> siDocs = client.hybridSearch("db-test", "book-vector-sparse", hybridSearchParam).getDocumentsList();int i = 0;for (List<Document> docs : siDocs) {System.out.println("\\tres: " + i);i++;for (Document doc : docs) {System.out.println("\\tres: " + doc.toString());}}
输出信息,如下所示。
res: 0res: {"id":"0001","vector":[0.21230000257492065,0.20999999344348907,0.21299999952316284],"sparse_vector":[[2,0.96],[5,0.53],[100,0.443]],"score":0.18177326023578644,"page":21,"author":"罗贯中","tags":["曹操","诸葛亮","刘备"],"bookName":"三国演义"}
SparseVectorBm25Encoder encoder = SparseVectorBm25Encoder.getBm25Encoder("zh");HybridSearchParam hybridSearchParam = HybridSearchParam.newBuilder().withAnn(AnnOption.newBuilder().withFieldName("text").withTextData("什么是腾讯云向量数据库").build()).withMatch(MatchOption.newBuilder().withFieldName("sparse_vector").withData(encoder.encodeQueries(Arrays.asList("什么是腾讯云向量数据库"))).withCutoffFrequency(0.1).withTerminateAfter(4000).build())// 指定 Top K 的 K 值.withRerank(new WeightRerankParam(Arrays.asList("vector","sparse_vector"), Arrays.asList(1, 1))).withLimit(2).withRetrieveVector(false).build();List<Document> siDocs = client.hybridSearch("db-test", "book-emb-sparse", hybridSearchParam).getDocuments();int i = 0;for (Object docs : siDocs) {System.out.println("\\tres: " + (i++) + docs.toString());}
输出信息,如下所示。
res: 0{"id":"0001","score":195.30913,"text":"腾讯云向量数据库(Tencent Cloud VectorDB)是一款全托管的自研企业级分布式数据库服务,专用于存储、索引、检索、管理由深度神经网络或其他机器学习模型生成的大量多维嵌入向量。"}res: 1{"id":"0004","score":194.4411,"text":"腾讯云向量数据库(Tencent Cloud VectorDB)作为一种专门存储和检索向量数据的服务提供给用户, 在高性能、高可用、大规模、低成本、简单易用、稳定可靠等方面体现出显著优势。 "}
入参描述
参数名 | 子参数 | 是否必选 | 参数含义 | 配置方法及要求 |
database | - | 是 | 指定检索数据的数据库名。 | Database 命名要求如下: 只能使用英文字母,数字,下划线_、中划线-,并以英文字母开头。 长度要求:[1,128]。 |
collection | - | 是 | 指定检索数据的集合名。 | Collection 命名要求如下: 只能使用英文字母,数字,下划线_、中划线-,并以英文字母开头。 长度要求:[1,128]。 |
hybridSearchParam | Ann | 是 | 设置向量检索信息 | FieldName:检索的字段名,支持设置为:vector 或 text。 说明: 其中,vector 为向向量数据的字段名,不可更改;text 为创建 Collection 时,开启 Embedding 功能自定义的原始文本字段名,请以实际定义为准,二者只能选择其中之一。 Data:检索的数据列表,当前仅支持输入一条向量或原始文本。 Params:检索参数,与索引类型相关。 HNSW 类型:需配置参数 ef,指定需要访问向量的数目。取值范围[1,32768],默认为10。 IVF 系列:需设置参数 nprobe ,指定所需查询的单位数量。取值范围[1,nlist],其中 nlist 在创建 Collection 时已设置。 Limit:指定返回稠密向量的数量。 |
| Match | 否 | 稀疏向量检索配置。 | FieldName:稀疏向量的字段名,例如:sparse_vector。 Data:检索的稀疏向量列表,当仅支持输入一个稀疏向量。 Limit:指定返回的数量。 TerminateAfter:设置检索数量上限,即检索数量超过 TerminateAfter 值之后,提前终止检索行为,可以有效的控制速率。在数据量较大的情况下,推荐经验值:4000。 CutoffFrequency:设置高频词出现的频次或频率上限,即词频大于 CutoffFrequency 的值之后,该关键词被忽略。 频数:可指定关键词出现的频数,取值为正整数,范围为[1,+∞]。 频率:可指定为关键词出现的频率,取值范围为[0,1]的小数。例如:0.8。 说明: CutoffFrequency可以排序阶段去掉高频词,在数据量较大的情况下(>=50w)推荐值:0.1。 |
| Rerank | 否 | 检索中重排序(rerank)的配置。 | 参数 Method 指定 Rerank 的方法,枚举如下值: WeightRerankParam:基于不同字段的加权组合来进行排序。 fieldList:列出用于加权计算的字段列表。例如,field_list=: ['vector', 'sparse_vector']表示密集型与稀疏型加权计算。 weight:定义了 "field_list" 中每个字段的权重,例如,weight=[0.9, 0.1]表示"vector" 字段的权重是 0.9,"sparse_vector" 字段的权重是 0.1。 RRFRerankParam:一种融合多个搜索方法的排名结果,通过为每个文档分配倒数排名分数并合并这些分数来生成一个新的综合排名,从而提高搜索结果的准确性和相关度。rrfk 是用于计算倒数排名分数的常数,其作用是调整分数计算公式,以控制排名分数的分布。例如: .withRerank(new RRFRerankParam(1)) 。 |
| RetrieveVector | 否 | 标识是否需要返回检索结果的向量值。 | 取值如下所示: true:需要。 false:不需要。默认为 false。 |
| Limit | 是 | 指定返回最相似的 Top K 的 K 的值。 | 大于等于0的正整数。 |
| Filter | 否 | 设置 Filter 表达式,过滤所需的数据。 | 使用创建 CollectionView 指定的 Filter 索引的字段设置查询过滤表达式。Filter 表达式格式为 <field_name><operator><value>,多个表达式之间支持 and(与)、or(或)、not(非)关系。具体信息,请参见 Filter 条件表达式。其中: <field_name>:表示要过滤的字段名。 <operator>:表示要使用的运算符。 string :匹配单个字符串值(=)、排除单个字符串值(!=)、匹配任意一个字符串值(in)、排除所有字符串值(not in)。其对应的 Value 必须使用英文双引号括起来。 uint64:大于(>)、大于等于(>=)、等于(=)、小于(<)、小于等于(<=)、不等于(!=)。例如:expired_time > 1623388524。 array:数组类型,包含数组元素之一(include)、排除数组元素之一(exclude)、全包含数组元素(include all)。例如,name include (\\"Bob\\", \\"Jack\\")。 json:json 类型的 Filter 表达式语法和 json 字段的键值类型保持一致。若访问 Json 对象中的键,使用点(.)符号连接。例如:Json 类型的字段 bookInfo ,其键 bookName 的 Filter 表达式如下所示。更多信息,请参见Json 类型表达式。
<value>:表示要匹配的值。 |
| OutputFields | 否 | 配置需返回的字段。 | 以数组形式配置需返回的字段。若不配置,返回所有字段。 说明: OutputFields 与 RetrieveVector 参数均可以配置是否输出向量值,二者任意一个配置需输出向量字段,则将输出向量字段。 |
出参描述
res: 0res: {"id":"0001","vector":[0.21230000257492065,0.20999999344348907,0.21299999952316284],"sparse_vector":[[2,0.96],[5,0.53],[100,0.443]],"score":0.18177326023578644,"page":21,"author":"罗贯中","tags":["曹操","诸葛亮","刘备"],"bookName":"三国演义"}
参数名 | 参数含义 |
id | Document 的 ID 信息。 |
vector | Document 的向量值。 |
sparse_vector | 稀疏向量。 |
score | 表示查询向量与检索结果向量之间的相似性计算分数。 |
author、page、section | Document 其他自定义的标量字段。 |