腾讯云AMQP消息协议产品全新升级技术概要

来源： 2024腾讯全球数字生态大会（Tencent Global Digital Ecosystem Summit）

主讲人： 岳小均

一、 产品定位与核心亮点

腾讯云AMQP消息协议产品是基于自研存算分离架构的云消息队列服务。该产品全面兼容AMQP 0.9.1协议，通过将AMQP协议映射至RocketMQ存储引擎，解决了传统开源RabbitMQ在集群模式下的网络分区与流控瓶颈。

核心商业与技术差异化卖点：

• Serverless形态：基于新架构实现开箱即用与零运维成本。
• 成本优化：综合价格对比旧形态下降 30~50%。
• 架构优势：利用RocketMQ的轻量队列模型与多索引能力，支持一条消息被多个队列索引，并方便扩展高阶特性（如消息轨迹）。

二、 产品应用场景

该产品主要服务于在分布式应用架构下，对消息可靠性、协议兼容性及运维成本有严格要求的用户。

三、 应用框架和功能介绍

1. 功能框架与架构解析

产品采用存算分离架构，数据流由计算层与存储层协同完成，管控层独立部署。

计算层（AMQP Proxy）

• 功能：负责连接处理、协议解析、安全认证、限流熔断及业务逻辑处理。
• 特性：完全无状态应用，消费位点维护在Broker中，支持无限横向扩展。
• 消息流转：接收AMQP SDK消息 -> 协议解码 -> 计算目标队列 -> 转为RocketMQ格式 -> 写入存储。

存储层（RocketMQ）

• 构成：由NameSrv和Broker节点组成。
• 技术：采用消息存储池化技术，组成多用户复用的存储池，提升存储密度。
• 映射逻辑：利用RocketMQ轻量队列模型，一条消息可建立多个索引；AMQP扩展字段作为Header存储，实现协议兼容。

管控层

• 功能：不承担数据流，每个地域部署一套，强制跨可用区容灾。

2. 高可用可扩展容灾部署

• 计算节点：用户购买的每个集群实例对应一个AMQP Proxy集群，多节点部署，支持快速弹性扩缩容，强制跨可用区容灾。
• 存储节点：默认强制跨可用区容灾部署；铂金版存储集群提供独占资源，实现更高的隔离保障。
• 消费模式：支持面向长连接的拉模式（Pull）和推模式（Push），通过POP请求与Broker交互。

3. 硬核指标（规格参数）

4. 产品优势（全量提取）

• 协议兼容：全面兼容AMQP 0.9.1协议，包括Virtual Hosts、Exchange（Fanout、Direct、Topic等）、Queue、Routing Key等核心模型。
• 高阶特性支持：支持广播消息、自动删除队列、TTL（生存时间）、定时消息等特性。
• Serverless体验：开箱即用，零运维成本。
• 全链路监控：具备全流监控能力。
• 性能稳定：避免了消费异常时消息堆积导致的流控问题。
• 成本降低：机器成本与综合使用成本显著下降（详见案例与价格章节）。

5. 荣誉背书

• 产品基于RocketMQ构建，利用其作为理想存储层的稳定性与扩展性（如支持消息轨迹）。
• 存储层采用池化技术，提升存储密度，为行业领先的多租户架构实践。

四、 典型案例

案例：Celery 支撑优化

• 背景：
  • 客户：Celery（基于Python的分布式任务队列系统）。
  • 困境：Celery重度依赖RabbitMQ，并频繁使用广播消息、自动删除队列、TTL、定时消息等高阶特性。之前经常遇到性能瓶颈和内存溢出问题。
• 解决方案：
  • 升级至腾讯云新版AMQP服务（后端依托优化后的RabbitMQ兼容服务及新架构）。
• 成效：
  • 稳定性明显提升。
  • 机器成本下降 50%。

五、 商业化进展

• 当前状态：目前已处于邀测阶段。
• 上市计划：预计 2024年下半年 正式商业化。