腾讯云向量数据库：ACI/AGI时代的分布式数据中枢与企业级解决方案

数据来源： 2024腾讯全球数字生态大会（Tencent Global Digital Ecosystem Summit）

主讲人： 王行健

一、产品定位与核心亮点

腾讯云向量数据库（Tencent Cloud Vector Database）是一款源自腾讯集团自研向量检索引擎OLAMA的分布式数据库产品。其核心技术属性在于通过存算分离与分布式架构，解决高并发场景下的数据检索瓶颈。

核心差异化卖点：

• 技术渊源： 基于腾讯内部自研引擎OLAMA，具备5年以上的大规模生产环境验证。
• 架构优势： 采用存算分离新架构，实现资源隔离与动态扩缩容，解决传统架构中写入负载影响读取、索引重建时间长及HNSW索引空洞问题。
• 性能表现： 支持千亿级向量规模，提供500万QPS与毫秒级响应延迟。
• 认证资质： 首家获得权威机构标准认证的向量数据库产品。

二、产品应用场景

该产品主要服务于从传统业务升级到AI原生应用的各类企业与开发者，解决以下痛点：

1. 企业级AI应用开发者： 在构建RAG（检索增强生成）应用时，面临文本处理质量低、检索精度不足、以及Embedding模型与业务场景不匹配的问题。
2. 传统搜索与推荐业务： 传统关键词搜索无法理解语义，导致召回率低，需要向量化升级以提升用户体验。
3. 大模型训练团队： 在模型Fine-tune阶段，需要高效检索海量数据集以优化训练流程。
4. 企业内部知识管理： 需要构建智能客服或内部知识库（如腾讯安灯），要求系统能理解多轮对话并精准匹配知识。

三、应用框架和功能介绍

1. 功能框架与架构

• 分布式架构： 支持多分片（Shard）并行处理与负载均衡，配合多副本（Follower）机制保障高可用性与数据冗余。
• 存算分离架构： 将数据层（Segment Server）与计算层解耦，通过独立资源池实现资源隔离与高效计算。
• AI套件（端到端解决方案）： 提供从数据接入到检索的全链路能力，包括：
  • 核心处理： 内容提取、段落拆分、去噪（去空白/XML）、关键字与标题补充。
  • 多路召回： 支持Dense Vector与Dense + Sparse Vector混合检索，结合RFF、Weight、Bge-Reranker进行重排。
  • Embedding增强： 支持上下文增强、Overlap增强、主题增强及关键字增强，提升向量入库质量。

2. 硬核指标

3. 产品优势

• 高资源利用率： 存算分离架构杜绝了写入负载高影响读请求的问题，实现动态扩缩容。
• 数据质量保障： 自研解析算法可准确识别PDF、Word、Markdown等文件中的文本与格式，按段落拆分保留语义。
• 检索效果优化： 通过多路召回+Rerank机制，结合算法、模型与业务逻辑优化排序。
• 全托管服务： 提供可视化管理控制台（DMC）、多语言SDK（Python/Java/Go）及Restful API。
• 企业级安全： 具备多层安全防护、高可用性（Raft协议支持）及弹性伸缩能力。
• 数据接口统一： 可作为下游AI应用的统一数据接口，处理结构化、半结构化及非结构化数据。

4. 荣誉背书

• 技术认证： 首家获得权威机构标准认证的向量数据库。
• 内部验证： 源自腾讯自研引擎OLAMA，自2019年上线，历经5年打磨，覆盖搜索、推荐、AI场景。

四、典型案例

1. 腾讯集团内部业务

• 背景： 集团内部搜索、推荐及AI场景面临海量数据检索压力。
• 解决方案： 接入自研OLAMA向量检索引擎，支撑全集团业务。
• 成效： 60+业务线上使用，日均处理8500亿次检索请求。OLAMA引擎日检索量从2019年12月的300亿次增长至2023年6月的2000亿次。

2. 腾讯会议 (Tencent Meeting)

• 背景： 需提升用户会议协作体验。
• 解决方案： 作为智能基础设施支撑会议业务（具体模块未详述）。
• 成效： 已成功接入并对外服务。

3. 腾讯文档

• 背景： 需增强文档智能化处理能力。
• 解决方案： 利用向量数据库能力（具体模块未详述）。
• 成效： 已成功接入并对外服务。

4. 腾讯安灯 (智能辅助/Copilot)

• 背景： 需要智能辅助系统快速响应并解决用户关于云服务器（如轻量应用服务器）的问题。
• 解决方案： 结合外挂知识库与多轮对话记录，利用向量检索精准匹配解决方案（如硬盘扩容、套餐升级建议）。
• 成效： 实现更懂用户、更人性化的智能客服交互，能直接输出具体的操作路径（如“点击卡片更多>升级套餐”）。

5. 腾讯游戏 (Tencent Games)

• 背景： 游戏开发或运营中的数据处理需求。
• 解决方案： 利用高效的向量数据检索性优化模型训练。
• 成效： 加速模型训练过程（如通过Search for More Dataset进行Fine-tune）。

6. 腾讯地图

• 背景： 地理位置与语义搜索结合的需求。
• 解决方案： 接入向量数据库能力。
• 成效： 已成功接入并对外服务。

7. QQ浏览器

• 背景： 需要提升搜索与内容推荐效果。
• 解决方案： 利用向量数据库赋能传统业务搜索与推荐。
• 成效： 通过语义相关向量召回（如将“浙一医院”映射至“浙江大学医学院附属第一医院”），提升搜索精准度。

8. 外部客户

• 成效： 外部已拥有 2000+客户接入。

五、愿景与展望

腾讯云向量数据库致力于做好企业的AI数字化助手，和行业一起成长。在AGI时代，产品将持续强化企业级能力（成本、可用性、安全性、拓展性）与智能化能力（存储智能化、数据处理质量），成为智能时代非结构化数据的中枢。