腾讯云大数据公有云基础产品升级：核心架构与极致性价比解析

数据来源： 2024腾讯全球数字生态大会

主讲人： 胡嘉琪（腾讯云）

一、 产品定位与核心亮点

腾讯云大数据公有云基础产品（涵盖数据湖 EMR+DLC、检索分析服务 ES、云数仓 TCHouse 等）是基于“极致软件工程+软硬一体加速+AI加持”理念打造的通用计算底层支撑平台。

其核心商业差异化卖点在于通过底层架构重构（如读写分离、存算分离、Serverless化）与自研硬件（紫霄 GPU）加速，在大幅提升大数据基准计算和日志写入性能的同时，实现资源成本的断崖式下降，为企业提供“开箱即用、按量计费、免除运维”的底层数据处理能力。

二、 产品应用场景

本产品矩阵主要面向以下业务场景及对应痛点：

• 大数据湖仓分析场景： 针对企业在海量数据查询时面临的计算引擎性能瓶颈。适用于需要对大规模 Iceberg 表进行全场景读取、处理复杂大宽表查询的数据分析团队。
• 海量日志与安全分析场景： 针对传统 Elasticsearch 集群在处理海量日志时面临的“写入吞吐不足、冷热数据存储成本高昂、节点磁盘负载不均”等痛点。适用于需要高并发写入且对存储成本敏感的运维与安全分析团队。
• 弹性计算与自动化运维场景： 针对企业扩容时面临的“细分机型库存不足、硬件故障需人工迁移、集群调优学习成本高”等痛点。适用于期望像使用水电一样按需使用计算资源、追求零运维投入的基础设施团队。

三、 应用框架和功能介绍

1. 功能框架

平台通过三大方向实现架构升级：

• Meson 高性能计算引擎： 提供通用化加速套件，包含 Meson for Elasticsearch（全文/向量/日志分析）、Meson for TCHouse（大宽表/复杂查询）、Meson for Data lake（Hadoop与全托管数据湖体系）。
• ES 读写分离+存算分离架构： 采用 Delta + Base 架构，实现冷热数据一体化搜索及存储与计算的独立弹性伸缩。
• 灵活的托管与 Serverless 形态：
  • EMR 托管节点 (Managed Node)： 后台统一维护硬件设备，用于 TASK 节点扩容，故障自动替换。
  • ES Serverless 调度与服务： 提供自研接入层、缓冲队列、流量/智能链路/资源调度，实现计算与存储资源的彻底解耦与按需分配。

2. 硬核指标

• 性能指标：
  • 数据湖场景（弹性 MapReduce + 数据湖计算 DLC）大数据基准计算性能提升 2.27倍。
  • 自研 ES 架构内存 Segment 构建与拷贝优化，写入性能最大提升 10倍（平均提升 3~5倍）。
• 降本指标：
  • ES 存算分离架构使存储平均降本 50%~80%，最高可实现 90%+ 存储成本下降。
  • EMR 托管节点模式相对传统 HOST 节点最高可节省 30% 资源使用成本。
• 兼容性指标： ES Serverless 模式 100% 兼容 开源 ES API，100% 兼容 ELK 生态（支持 Beats, Kafka, Logstash 接入）。

3. 产品优势能力

• 软硬一体化加速： 基于 Meson Engine 实现 Native 向量化计算与 GPU/硬件加速。
• 资源高可用隔离： ES 读写分离架构通过资源隔离大幅提升可用性，支持 Mapping 动态更新与 Pipeline。
• 彻底的免运维体验：
  • EMR 托管节点实现故障自动替换，用户无需关注单个机型库存，无需配置细分机型。
  • ES Serverless 提供一站式场景化解决方案，实现集群免运维、索引免运维、数据链路免运维，底层完全屏蔽，提供端到端 SLA 保障。

4. 荣誉背书与技术首发

• 基于 Meson 和腾讯自研紫霄 GPU 的向量检索加速，成为 全球首个支持GPU加速的ES产品。
• 首发 全场景支持原生 Iceberg 表。
• 首发 运行时 Iceberg 表向量化读取。
• 首发 大规模湖存储向量化引擎优化。

四、 典型案例

案例 1

• 背景： 某客户 原采用社区 ES 架构（50个 16C64G SA5机型 + 2TB SSD 节点），采用 2 副本 CBS 方案，面临极高的计算与存储成本（合计成本约 18.9万/月）。
• 解决方案： 客户整体迁移至腾讯云自研 ES 架构，引入物理复制并启用 读写分离+存算分离全新架构。计算节点从 50 台直接缩减到 5 台。
• 成效：
  • 写入性能最高提升 10倍。
  • 存储成本下降 90%+。
  • 整体成本下降 85%+（合计成本降至约 2.8万/月，若使用共享读写分离可实现十倍以上性价比）。