数据索引概述

最近更新时间:2024-12-03 10:07:11

我的收藏
自动建立数据索引,利用文件的元数据和向量语义作为查询条件,快速查找 COS 中的图片、视频、文档、音频文件。

COS 数据索引的优势

直连 COS:直接使用 COS 数据构建的数据索引,无需搬迁数据和自建检索系统。
多模态:支持多种索引类型,包括 OSS 元数据、媒体元数据、自定义元数据、向量语义;提供近百种检索条件。
高性能:实现秒级索引和聚合,支持亿级文件索引的数据集,满足大规模数据处理需求。

支持的数据检索方式

COS 支持标量检索和向量检索两种检索方式:

标量检索
向量检索
定义
基于 COS 元数据、对象 ETag、对象标签等元数据属性进行匹配查询
通过将图片文件的信息表示为向量,并利用这些向量进行语义相似性的比较和检索,实现根据文件内容进行语义查询
使用场景
文件查询、资产盘点
图库语义查询
查询条件示例
查询2024年11月1日以后上传的、私有的、标准存储的文件
查询和“番茄”相关的图片

返回结果示例
返回2024年11月1日以后上传的、标准存储的文件列表



返回和“番茄”相关的图片文件列表




选择数据检索方式

根据所需的检索条件与适用场景,参考下表选择标量检索或向量检索:
检索条件
适用场景
检索方式
COS元数据
资产盘点
标量检索
对象标签和对象ETag
数据分类统计
标量检索
自定义元数据
数据分类统计
标量检索
媒体信息
媒资管理
标量检索
向量语义(自然语言或图片)
电商商品推荐、网盘相册
向量检索
说明:
关于标量检索支持的所有元数据字段,请参见 字段和操作符的支持列表

开始使用数据检索

使用标量或向量检索 COS 数据的流程如下:



1. 用户上传图片、视频、文档、音频等文件到 COS Bucket。
2. 具备 COS 管理权限的用户为 Bucket 开启智能检索后将自动提取 COS 桶内的数据索引。
3. 自动建立包含 COS 元数据、对象 ETag、对象标签的数据索引。
4. 终端应用调用 简单查询 API 基于元数据属性进行查询。
5. COS 返回满足查询条件的数据。
说明:
COS 数据检索可通过控制台进行操作,详情请参见 标量检索向量检索

开始进行数据检索

进行标量检索和向量检索的详细步骤请参见: