消息队列 Pulsar 版

什么是消息队列 Pulsar 版？

消息队列 Pulsar 版（TDMQ for Pulsar，简称 TDMQ Pulsar 版）是一款基于 Apache Pulsar 自研的消息中间件，具备极好的云原生和 Serverless 特性，兼容 Pulsar 的各个组件与概念，具备计算存储分离，灵活扩缩容的底层优势。

TDMQ Pulsar 版可为分布式应用系统提供异步解耦和削峰填谷的能力，具备互联网应用所需的海量消息堆积、高吞吐、可靠重试等特性，目前已应用在腾讯计费绝大部分场景，包括支付主路径、实时对账、实时监控、大数据实时分析等方面。

消息队列 Pulsar 版的两种不同集群类型区别是什么？

消息队列 Pulsar 版的产品优势是什么？

数据强一致

TDMQ Pulsar 版采用 BookKeeper 一致性协议 实现数据强一致性（类似 RAFT 算法），将消息数据备份写到不同物理机上，并且要求是同步刷盘。当某台物理机出故障时，后台数据复制机制能够对数据快速迁移，保证用户数据备份可用。

高性能低延迟

TDMQ Pulsar 版能够高效支持百万级消息生产和消费，海量消息堆积且消息堆积容量不设上限，支撑了腾讯计费所有场景；性能方面，单集群 QPS 超过10万，同时在时耗方面有保护机制来保证低延迟，帮助您轻松满足业务性能需求。

百万级 Topic

TDMQ Pulsar 版计算与存储架构的分离设计，使得 TDMQ Pulsar 版可以轻松支持百万级消息主题。相比于市场上其他 MQ 产品，整个集群不会因为 Topic 数量增加而导致性能急剧下降。

丰富的消息类型

TDMQ Pulsar 版提供丰富的消息类型，涵盖普通消息、顺序消息（全局顺序 / 分区顺序）、分布式事务消息、定时消息，满足各种严苛场景下的高级特性需求。

消费者数量无限制

不同于 Kafka 的消息消费模式，TDMQ Pulsar 版的消费者数量不受限于 Topic 的分区个数，并且会按照一定的算法均衡每个消费者的消息量，业务可按需启动对应的消费者数量。

多协议接入

TDMQ Pulsar 版的 API 支持 Java、C++、Go 等多语言，并且支持 HTTP 协议，可扩展更多语言的接入，另外还支持开源RocketMQ、RabbitMQ客户端的接入。如果用户只是利用消息队列的基础功能进行消息的生产和消费，可以不用修改代码就完成到 TDMQ Pulsar 版的迁移。

隔离控制

提供按租户对 Topic 进行隔离的机制，同时可精确管控各个租户的生产和消费速率，保证租户之间互不影响，消息的处理不会出现资源竞争的现象。

全球部署

TDMQ Pulsar 版提供全球部署能力，对于拥有全球业务的企业，可以就近选取地域购买服务。

消息队列 Pulsar 版的应用场景有哪些？

异步解耦

交易引擎作为腾讯计费最核心的系统，每笔交易订单数据需要被几十个下游业务系统关注，包括物品批价、道具发货、积分、流计算分析等，多个系统对消息的处理逻辑不一致，单个系统不可能去适配每一个关联业务。此时，TDMQ Pulsar 版可实现高效的异步通信和应用解耦，确保主站业务的连续性。

削峰填谷

企业不定时举办的一些营销活动，新品发布上线，节日抢红包等，往往都会带来临时性的流量洪峰，这对后端的各个应用系统考验是十分巨大的，如果直接采用扩容方式应对又会带来一定的资源浪费。TDMQ Pulsar 版此时便可以承担一个缓冲器的角色，将上游突增的请求集中收集，下游可以根据自己的实际处理能力来消费请求消息。

顺序收发

顺序消息的应用出现在业务场景中。例如王者荣耀的皮肤道具购买与发放，过程中的订单创建、支付、退款等流程都是严格按照顺序执行的，与先进先出（First In First Out，FIFO）原理类似，TDMQ Pulsar 版提供一种专门应对这种情形的顺序消息功能，即保证消息 FIFO。

分布式事务一致性

腾讯计费（米大师）是孵化于支撑腾讯内部业务千亿级营收的互联网计费平台，承载了公司每天数亿收入大盘，解决的核心问题是如何确保钱货一致，使用 TDMQ Pulsar 版与分布式事务应用结合来处理交易事务，可以大大提升处理效率和性能。计费的交易链路通常比较长，出错或者超时的概率比较高，借助 TDMQ Pulsar 版的自动重推和海量堆积能力来实现事务补偿，以及支付 Tips 通知和交易流水推送可以通过 TDMQ Pulsar 版来实现最终一致性。

数据同步

如果有多个数据中心存在，需要在多个数据中心之间消费，那么 TDMQ Pulsar 版可以非常方便实现数据中心之间的同步。

大数据分析

数据在“流动”中产生价值，传统数据分析大多是基于批量计算模型，而无法做到实时的数据分析，利用 TDMQ Pulsar 版与流式计算引擎相结合，可以很方便地实现业务数据的实时分析。