基于原始文本相似度检索

最近更新时间:2024-01-18 17:43:01

我的收藏

功能介绍

若在 Base 类数据库中创建 Collection 时,已配置 Embedding 模型,则可使用 search_by_text() 接口输入原始文本进行相似度查询,并支持搭配自定义的标量字段的 Filter 表达式一并进行相似度检索,返回指定的 Top K 个最相似的文本信息。

请求示例

如下示例已经通过 create_database() 创建数据库 db-test,已通过 create_collection() 创建集合为 book-emb,通过 searchByText() 检索与 embeddingItems 参数的文本信息相度读最高,且满足 Filter 表达式的文档。
import tcvectordb
from tcvectordb.model.enum import FieldType, IndexType, MetricType, EmbeddingModel, ReadConsistency
from tcvectordb.model.index import Index, VectorIndex, FilterIndex, HNSWParams
from tcvectordb.model.document import Document, Filter, SearchParams

#create a database client object
client = tcvectordb.VectorDBClient(url='http://10.0.X.X', username='root', key='eC4bLRy2va******************************', read_consistency=ReadConsistency.EVENTUAL_CONSISTENCY, timeout=30)

db = client.database('db-test')
coll = db.collection('book-emb')

# search by text
# embeddingItems 指定了检索的文本
# filter 指定了过滤条件
# params 指定索引类型对应的查询参数,HNSW 类型需要设置 ef,指定查询的遍历范围;IVF 系列需要设置 nprobe,指定查询的单位数量

# limit 指定返回最相似的 Top K 条结果。如果插入的数据不足 K 条,则返回实际插入的 Document 数量。
# output_fields 指定输出字段
doc_lists = coll.searchByText(
embeddingItems=['天下大势,分久必合,合久必分'],
filter=Filter(Filter.In("bookName",["三国演义", "西游记"])),
params=SearchParams(ef=200),
limit=3,
retrieve_vector=False,
output_fields=['bookName','author']
)
# printf
for i, docs in enumerate(doc_lists.get("documents")):
print(i)
for doc in docs:
print(doc)


请求参数

参数
是否必选
参数含义
配置方法
embeddingItems
待检索的文本信息。
输入文本信息,用于检索与该文本信息相似的数据。
类型:字符串数组。
范围:数组元素最大批量为20 。
filter
使用创建 Collection 指定的 Filter 索引的字段设置查询过滤表达式
Filter 的表达式格式为 '<field_name><operator><value>',多个表达式之间支持 and(与)、or(或)、not(非)关系。具体信息,请参见 Filter 条件表达式。其中
<field_name>:表示要过滤的字段名。
<operator>:表示要使用的运算符。
string :匹配单个字符串值(=)、排除单个字符串值(!=)、匹配任意一个字符串值(in)、排除所有字符串值(not in)。其对应的 Value 必须使用英文双引号括起来。
unit64:大于(>)、大于等于(>=)、等于(==)、小于(<)、小于等于(<=)。例如:expired_time > 1623388524。
array:数组类型,包含数组元素之一(include)、排除数组元素之一(exclude)、全包含数组元素(include all)。例如,name include (\\"Bob\\", \\"Jack\\")。
<value>:表示要匹配的值。
示例:Filter('author="jerry"').And('page>20')。
params
指定索引查询参数。
索引类型不同,检索时,所需配置的参数不同。
FLAT :无需指定参数。
HNSW 类型:需配置参数 ef,指定需要访问向量的数目。取值范围[1,32768],默认为10。
IVF 系列:需设置参数 nprobe ,指定所需查询的单位数量。取值范围[1,nlist],其中 nlist 在创建 Collection 时已设置,可通过 list_collections() 查看。

retrieve_vector

标识是否需要返回向量值。
取值如下所示:
True:需要。
False:不需要。默认为 False。
limit
指定返回最相似的 Top K 的 K 的值。
如果插入的数据不足 K 条,则返回实际插入的 Document 数量。
output_fields
配置需返回的字段。
指定需要输出的字段。若不设置,将返回所有字段。
说明:
retrieve_vector output_fields 只要有其中一个配置输出向量字段即可输出 vector。


输出参数

说明:
每一个查询结果都返回 TopK 条相似度计算的结果。其中,K 为 limit 设置的数值,如果插入的数据不足 K 条,则返回实际插入的 Document 数量。
检索结果会按照与查询向量的相似程度进行排列,相似度最高的结果会排在最前面,相似度最低的结果则排在最后面。相似程度则通过 L2(欧几里得距离)、IP(内积)或 COSINE(余弦相似度)计算得出的分数来衡量,输出参数 score 表示相似性计算分数。其中,欧式距离(L2)计算所得的分数越小与搜索值越相似;而余弦相似度(COSINE)与 内积(IP) 计算所得的分数越大与搜索值越相似。
0
{'id': '0001', 'score': 0.9792741537094116, 'author': '罗贯中', 'bookName': '三国演义'}
{'id': '0002', 'score': 0.7909858226776123, 'bookName': '西游记', 'author': '吴承恩'}
参数名
参数含义
id
Document 的 ID 信息。
vector
Document 的向量值。
score
表示查询向量与检索结果向量之间的相似性计算分数。
author、page、section
Document 其他自定义的标量字段。