腾讯云数据万象：多模态智能检索方案结构化解析

一、 产品定位与核心亮点

腾讯云数据万象（Cloud Infinite, CI）多模态智能检索是一款基于腾讯云对象存储（COS）构建的一站式数据处理智能平台。

其核心技术属性在于：依托数据万象大语言模型与自研元数据管理平台，将文本、图像、视频等不同模态的数据特征提取并映射至统一特征空间（Embedding），从而实现跨模态的语义比对与检索。

商业差异化卖点：

• 底层融合：打破传统数据湖存储与AI处理割裂的现状，提供从数据采集、预处理、特征工程、模型训练到推理应用、内容治理的端到端统一存储与处理方案。
• 混合检索架构：支持全媒体数据类型的向量（Vector）与结构化标签（Keyword）混合检索（Hybrid Search + Rerank），彻底解决海量非结构化数据元数据利用率低的问题。

二、 产品应用场景

本产品主要面向拥有海量非结构化数据（特别是互联网、电商、媒体、AIGC企业）的业务团队，解决其在数据存储、二次加工处理及精准调取时面临的“文件小数量多、检索低效”痛点。

核心应用场景：

• AIGC业务全流程：
  • 模型训练期：解决数据湖统一存储诉求，实现数据在特征工程与训练集之间的自由流动。
  • 应用推理期：应对生成内容的合规性审查（内容审核）及庞大生成文件的数据治理。
• 海量数据高效分析：在数据审计或监管场景下，精准从数十亿文件中快速查询指定条件的结果（如特定图片格式占比、目标文件数量）。
• 企业监管治理：从上亿级的海量历史文件中，基于特定合规条件高效查找目标文件。
• 智能文件管理与相册：通过提取时间、地点、人物、表情及定制关键词，构建多维度查询的智能资产管理库。

三、 应用框架和功能介绍

3.1 功能框架

整体架构以COS对象存储为底座，业务流程分为五个核心链路：

1. 数据入库：上传各类非结构化数据（图、文、音、视）。
2. 特征提取：涵盖文本特征、图片特征、视频特征提取。
3. 索引构建与存储：基于提取的特征建立检索模板（如图像检索模板、基础信息模板、人脸检索模板）并建立特征索引库。
4. 特征匹配：执行搜索指令时，通过检索条件（智能检索/向量检索、KV查询）进行 Embedding 相似度计算（支持Hybrid Search与Rerank）。
5. 结果分发：输出高相关性的内容片段（Chunks）。

3.2 硬核指标（量化数据）

• 性能吞吐：支持检索百万级库，实现秒级返回检索结果。
• 底层协议/系统支持：支持 QUIC协议、IPv6、RTMP、HTTP 3.0，兼容 POSIX、HDFS。
• 数据规模处理：具备在数十亿文件中进行精准查询的算力支撑。

3.3 产品优势能力（全功能矩阵）

产品具备极其丰富的数据后处理能力（AIGC后期处理），功能点全景如下：

• 跨模态检索能力：支持以文搜图、以图搜图、以图搜视频、以视频搜视频。包含海量中文语料数据集，深度适配中文语义场景。
• 图片处理 API：
  • 基础/版权：压缩、格式转换、裁剪、盲水印、原图保护。
  • 图片 AI：图片标签、质量评分、图像增强、图像修复、以图搜图、OCR识别、商品抠图。
• 视频处理 API：
  • 基础转码：视频转码、极速高清、超分辨率。
  • 编辑检测：视频截帧、黑屏检测、视频水印。
  • 视频 AI：视频标签、精彩集锦、质量评分、画质增强、老片修复、智能封面、视频DNA。
• 音频处理 API：
  • 基础处理：音频转码、降噪、音轨调整、拼接、语音合成（TTS）、人声分离、语音ASR。
  • 音乐专属 AI：智能作曲、音源分离、音乐转谱、歌词创作、音乐结构分析、听歌识曲、唱歌打分、歌知识别、副歌识别、音乐标签、鼓点识别。
  • 视觉融合：视频配乐、音乐MV、音乐影片、音乐舞蹈生成。
• 文档与文件 API：转图片/HTML预览、文档水印、格式转换；文件 Hash计算、解压缩、打包压缩。
• 内容审核 API：覆盖图片、文本、视频、音频、文档、网页。审核维度包含：色情、政治敏感、性感、广告营销、暴力恐怖、宗教、违禁违法、特殊物品。

3.4 技术背书

• 底层架构采用腾讯云遨驰（Tencent Cloud Orca）分布式云操作系统及分布式对象存储引擎 Yotta。
• 检索能力依托自研特征提取服务及检索引擎与数据万象大语言模型。

四、 典型案例

案例 1

• 背景：电商网站在商品（如加湿器）数字化管理中，面临商品图片检索效率低、背景杂乱导致特征提取不准，以及缺乏有效中文场景适配引擎的技术瓶颈。
• 解决方案：
  1. 建库阶段：调用数据万象智能抠图接口，自动识别商品图像并剔除干扰背景，基于抠取的有效图像进行特征提取，并根据图片标签规则按产品类别建立独立的特征库（如“加湿器特征库”）。
  2. 检索阶段：结合搜前分类提示（文本搜索降低算力消耗）与抠图技术，启用以图搜图接口。前端用户上传图片后，系统调用智能检索接口，在特定的特征库中进行比对。
• 成效：
  • 自研引擎深度适配中文电商场景。
  • 支持百万级特征库规模。
  • 实现秒级返回检索商品结果，大幅提升了商品检索的效率和准确率。