本文尝试通过技术演进的方式，以redis、kafka和 pulsar为例，逐步深入，讲讲它们架构和原理，帮助你更好地理解和学习消息队列。文章作者：刘德恩，腾讯IEG研发工程师。...一、最基础的队列 最基础的消息队列其实就是一个双端队列，我们可以用双向链表来实现，如下图所示： push_front：添加元素到队首； pop_tail：从队尾取出元素。...有了这样的数据结构之后，我们就可以在内存中构建一个消息队列，一些任务不停地往队列里添加消息，同时另一些任务不断地从队尾有序地取出这些消息。...这正好对应了我们队列抽象的push_front和pop_tail，因此我们可以直接把redis的list当成一个消息队列来使用。...不过好在kafka的partition是单向的队列，因此队列中消息的生产时间都是有序的。因此每次过期删除消息时，从头开始删就行了。 看起来似乎很简单，但仔细想一下还是有不少问题。
目前最为我们所熟知的消息队列有：ActiveMQ、Kafka、RabbitMQ、Pulsar和RocketMQ，他们都有哪些优势和劣势， 我们应该如何选择呢？相信这是摆在很多开发者面前的问题。...1.5、Pulsar Pulsar是一种开源的分布式消息中间件系统，由Apache Software Foundation维护和支持。...Pulsar在性能方面表现出色，它可以支持每秒数百万条消息的吞吐量，同时也提供了丰富的管理和监控工具，如Pulsar Manager和Prometheus等，帮助用户更好地管理和监控消息队列系统。...目前，AMQP协议已经得到了广泛的应用，许多消息队列系统如RabbitMQ、ActiveMQ、Qpid等都支持AMQP协议，而Kafka与Pulsar则不支持标准AMQP。...三、消息队列对比 ActiveMQ RabbitMQ RocketMQ Kafka Pulsar 单机吞吐量 较低(万级) 一般（万级） 高（十万级） 高（十万级） 高（十万级） 开发语言 Java
消息队列学习 概念学习 参考资料： IBM Messages and queues Microsoft-MSMQ Overview KM-消息队列原理简介与对比选型 基础概念 消息（messages）：...而且在队列中接受者不用担心超时问题；在Topic中接受者必须continuously active并且按时接收，不然消息就会超时。...Pub/Sub：Pub-Sub Messaging 消息队列的优点： 分离消息的生产者和消费者，使其在代码层面解耦合 允许消费者对消息进行异步处理，加快处理速度。 访问控制中的峰值控制。...Pulsar 参考资料： 下一代消息队列pulsar到底是什么 pulsar/concepts-messaging 架构上来说，Pulsar是Pub-sub架构 Broker：无状态服务层，负责接受和传递消息...有状态持久化层，由一组名为Bookie的存储节点组成 Producer：数据生产者，负责发布数据到Topic Consumer：数据消费者，负责从Topic订阅数据 使用ZooKeeper作为元数据存储 其他消息队列是分区存储
新春采购节 新春钜惠，爆款秒杀；企业用户专属，高配高性价比，助力企业轻松上云，腾讯云微服务新春大促重磅来袭！...不限新老用户 腾讯微服务平台 TSF、消息队列 CKafka 最低 4 折优惠 最高可省 30000+ 元！ 更有爆款秒杀、代金券大礼包限量放送 点击【在看】先到先得！...点击【阅读原文】查看活动详情！ 往期 推荐 《一天，把 Pulsar 客户端的性能提升3倍+！》 《超有料！万字详解腾讯微服务平台 TSF 的敏捷开发流程》 《火速围观！...扫描下方二维码关注本公众号， 了解更多微服务、消息队列的相关信息！ 解锁超多鹅厂周边！ 戳原文，了解更多 新春采购节 活动信息 点亮在看，你最好看
欢迎您关注《大数据成神之路》 Pulsar简介 Apache Pulsar是一个企业级的分布式消息系统，最初由Yahoo开发并在2016年开源，目前正在Apache基金会下孵化。...Pulsar之所以能够称为下一代消息队列，主要是因为以下特性: 线性扩展。能够丝滑的扩容到成百上千个节点(Kafka扩容需要占用很多系统资源在节点间拷贝数据，而Plusar完全不用) 高吞吐。...我们知道Kafka在0.8版本之前是将消费进度存储到ZK中的，但是ZK本质上基于单个日志的中心服务，简单来讲，ZK的性能不会随着你增加更多的节点而线性增加，会只会相反减少，因为更多的节点意味着需要将日志同步到更多的节点...Failover: 多个消费者可以连接同一个topic并按照字典序排序，第一个消费者会开始消费消息，称之为master，当master断开连接，所有未ack和队列中剩下的消息会分发给另一个消费者。...总结 Plusar作为下一代分布式消息队列，拥有非常多吸引人的特性，也弥补了一些其他竞品的短板，例如地域复制、多租户、扩展性、读写隔离等等。 image.png
消息队列RocketMQ版提供的分布式事务消息适用于所有对数据最终一致性有强需求的场景。本文介绍消息队列RocketMQ版事务消息的概念、优势、典型场景、交互流程、使用规则以及示例代码。...概念介绍 事务消息：消息队列RocketMQ版提供类似XA或Open XA的分布式事务功能，通过消息队列RocketMQ版事务消息能达到分布式事务的最终一致。...半事务消息：暂不能投递的消息，生产者已经成功地将消息发送到了消息队列RocketMQ版服务端，但是消息队列RocketMQ版服务端未收到生产者对该消息的二次确认，此时该消息被标记成“暂不能投递”状态，处于该种状态下的消息即半事务消息...分布式事务消息的优势 消息队列RocketMQ版分布式事务消息不仅可以实现应用之间的解耦，又能保证数据的最终一致性。...事务消息发送步骤如下： 生产者将半事务消息发送至消息队列RocketMQ版服务端。
导语 2021年12月1日，腾讯云分布式消息队列 TDMQ Pulsar 版正式商业化。...用户使用消息队列 TDMQ Pulsar 版时，无需担心与开源 Apache Pulsar 社区的兼容性问题。...Pulsar 版，轻松上云，享受腾讯云提供的 7*24小时的专业消息队列服务支持，享受高可用消息队列服务，无需关注运维细节。...消息队列 TDMQ Pulsar 版可实现高效的异步通信和应用解耦，确保主站业务的连续性。...截至2021年11月底，消息队列 TDMQ Pulsar 版已有上百家活跃的企业用户。
在开源的业界已经有这么多消息队列中间件了，pulsar作为一个新势力到底有什么优点呢？...pulsar自从出身就不断的再和其他的消息队列(kafka,rocketmq等等)做比较，但是Pulsar的设计思想和大多数的消息队列中间件都不同，具备了高吞吐，低延迟，计算存储分离，多租户，异地复制等功能...，所以pulsar也被誉为下一代消息队列中间件，接下来我会一一对其进行详细的解析。...扩容Broker往往适用于增加Consumer的吞吐，当我们有一些大流量的业务或者活动，比如电商大促，可以提前进行broker的扩容。...灾备：加强版独占，如果独占的那个挂了，会自动的切换到另外一个好的消费者，但是还是只能由一个独占。
背景 前两天收到业务反馈有一个 topic 的分区消息堆积了： 根据之前的经验来看，要么是业务消费逻辑出现问题导致消费过慢，当然也有小概率是消息队列的 Bug（我们使用的是 pulsar）。...org.apache.pulsar.client.admin.Topics#peekMessages 再通过这条消息的 id （为了演示，这里的 messageId 可能不一样）在我们的 pulsar...消息链路系统中找到了消息的发送链路： 通过这个链路会发现消息一直在推送，但就是没有收到客户端的 ACK 响应。...相关的消息链路埋点可以参考这里：如何编写一个 Pulsar Broker Interceptor 插件 简单来说就是在以下几个 broker 提供的拦截器接口加上埋点数据即可： messageProduced...我们再往下翻一翻，会发现上层调用的业务代码： 查阅代码得知这是一个数据库的写入操作，看起来是在这个环节数据库响应过慢导致的 pulsar 线程被阻塞了；从而导致消息没有及时 ACK。
长轮询的思想： 服务端接收到新消息请求后，如果队列里没有新消息，并不急于返回，通过一个循环不断查看状态，每次waitForRunning一段时间（默认是5秒），然后再Check。...queueId,然后通过topic和queueID获取到该消息队列的最大偏移量，之后调用notifyMessageArriving方法。...，如果该消息队列的最大偏移量大于待拉取偏移量，说明有新的消息传入。...在消息存储中，存在一个线程ReputMessageService，它会实时更新消息消费队列和索引文件，每执行一次任务推送后会休息1毫秒就继续尝试推送消息到消费队列和索引文件。...线程的notifyMessageArriving方法唤醒挂起线程，判断当前消费队列最大偏移量是否大于待拉取偏移量，如果大于则拉取消息。
本文从传统消息队列上云所面临的三大挑战说起，并以 Apache Pulsar 为技术案例，深入浅出地讲解了如何打造适配云原生的消息队列。希望本文能对大家提供参考。...为了更好地为广大用户服务，提供金融级可靠消息服务，腾讯云开启了消息队列上云之路，目前 Apache Pulsar 在腾讯云上已经大规模使用。...对于强一致的异地多活，现有的消息队列很少有提供开箱即用的完整方案。 PART THREE 遇见Apache Pulsar 如果使用传统的消息队列上云，要解决上述问题需要费一番功夫。...PART FIVE 未来寄语 相对于其他传统消息队列，Apache Pulsar 借助存储与计算分离的云原生架构，以及支撑平滑迁移、承载海量分区、跨区域数据复制等原生功能特性，成为解决原有消息队列上云挑战的最佳解决方案之一...希望上述我们在消息队列方向的探索与实践能够带给有着类似需求的同行一些参考。 在腾讯云上，我们基于 Apache Pulsar 推出了 TDMQ 消息队列，除了上述改动，还有其他新特性。
概述 KEDA 的触发器支持 Apache Pulsar，即根据 Pulsar 消息队列中的未消费的消息数量进行水平伸缩，用法参考 KEDA Scalers: Apache Pulsar。...腾讯云上也有商业版的 Pulsar 产品，即 TDMQ for Pulsar，本文举例介绍配置基于 TDMQ for Pulsar 消息队列中未消费的消息数量进行水平伸缩，当然如果你自建了开源的 Apache...获取 Pulsar JWT Token 确保在 Pulsar 角色管理 创建好需要的角色，并在 Pulsar 命名空间 中【配置权限】，确保所需角色有相应的生产消息或消费消息的权限。.../msgBacklogThreshold) activationMsgBacklogThreshold: "1" # 如果当前副本数为 0，只要队列里来新消息了，就将副本置为 1 并启用伸缩...，以上面 get 到的结果为例：堆积消息数=4.6*5=23 ScaledJob + 超级节点 如果单条消息处理耗时较大，但又需要尽量及时获取到处理结果，可以配置 ScaledJob，队列中每来一条新消息就自动新建一个
Kafka与Pulsar都是优秀的分布式消息流平台，它们都提供了以下基础功能： （1）消息系统：Kafka与Pulsar都可以实现基于发布/订阅模式的消息系统。...流量削峰：消息系统作为消息缓冲区，以低成本将上游服务（生产者）的流量洪峰缓存起来，下游服务（消费者）按照自身处理能力从消息队列中读取数据并进行处理，避免下游服务由于大量的请求流量而崩溃。...Kafka与Pulsar涉及的基础概念 将Kafka与Pulsar都视为一个简单的消息系统，消息流转流程如下图所示。 图中展示了消息系统中的4个基本概念。...它们在Kafka与Pulsar中都存在，并且含义相同。 消息 Message：Kafka与Pulsar中的数据实体。 生产者 Producer：发布消息的应用。...消费者 Consumer：订阅消息的应用。 主题 Topic：Kafka与Pulsar将某一类消息划分到一个主题，主题是消息的逻辑分组，不同主题的消息互不干预。 ...
，中间件小Q妹为大家特别准备了 2000份 新春红包封面，祝大家新春快乐，虎年大吉！...Apache Pulsar 社区年度盛会——Pulsar Summit Asia 重磅来袭！》 《腾讯云消息队列TDMQ RabbitMQ 版开启公测，文末有惊喜！》...CKafka重磅上线DataHub，让数据流转更简便》 《ZooKeeper系列文章：ZooKeeper 源码和实践揭秘（三）》 《Serverless可观测性的价值》 《喜报|CKafka荣获可信云消息队列服务稳定性先进级认证...》 《RoP重磅发布0.2.0版本：架构全新升级，消息准确性达100%》 《ZooKeeper系列文章：ZooKeeper 源码和实践揭秘（二）》 《深入理解Rabbit MQ与AMQP协议》 扫描下方二维码关注本公众号...， 了解更多微服务、消息队列的相关信息！
本文是对腾讯TEG技术委员会专家工程师刘德志老师在腾讯云开发者社区沙龙 online 的分享整理，介绍基于 Apache Pulsar 的新一代存储计算分离设计的消息队列 TDMQ，希望与大家一同交流。...腾讯计费平台有四个版本，分别是基础版、企业版、海外版、行业版，为众多广告客户提供服务，支持单笔上亿的交易。 2....腾讯计费平台基于开源 Pulsar 存储计算分离架构，支持按量使用、无限扩展、兼容主流消息队列、专为云而生的消息队列产品——TDMQ 可以满足上述这些要求。 二、TDMQ架构说明 1....（1）具备高一致和高可靠的能力 具备丰富的消息类型来满足业务的复杂场景，比如秒杀活动场景下的定时消息、以及对消息顺序有要求的顺序消息等。...存储分离架构 TDMQ 是基于 Pulsar 内核，和其它的分布式消息队列不同，Pulsar 采用了计算和存储分离的 2 层架构： Broker 提供消息的生产、发送和管理服务，本身并不存储任何状态信息和消息内容
TDMQ Pulsar 版产品能力介绍 腾讯云消息队列 Pulsar 版是基于 Apache 顶级项目 Pulsar 开发的一款金融级商业化消息中间件，受益于「存算分离」的架构，具备运维灵活扩展、低成本存储使用的特性...TDMQ Pulsar 版专业集群（弹性存储），对存储实行线性计价（单位：元/GB/小时）。存储费用 = 消息存储大小 × 存储单价 × 时长。...说明 您可根据业务量预估消息量和消息大小，计算需要的存储空间。Pulsar 默认按三副本保存消息，因此计费使用的存储大小约等于消息总大小监控指标的 3 倍。...后续 TDMQ Pulsar 版将继续推出使用成本门槛更低的开发版本，面向入门级客户，业务量适中、用于短期测试场景，敬请期待！ 扫描下方二维码关注本公众号， 了解更多微服务、消息队列的相关信息！...戳原文，查看更多消息队列 Pulsar 版的信息！ 点个在看你最好看
本文是对腾讯TEG技术委员会专家工程师刘德志老师在云+社区沙龙 online 的分享整理，介绍基于 Apache Pulsar 的新一代存储计算分离设计的消息队列 TDMQ，希望与大家一同交流。...腾讯计费平台有四个版本，分别是基础版、企业版、海外版、行业版，为众多广告客户提供服务，支持单笔上亿的交易。 ? 2....腾讯计费平台基于开源 Pulsar 存储计算分离架构，支持按量使用、无限扩展、兼容主流消息队列、专为云而生的消息队列产品——TDMQ 可以满足上述这些要求。 02 TDMQ架构说明 1....（1）具备高一致和高可靠的能力 具备丰富的消息类型来满足业务的复杂场景，比如秒杀活动场景下的定时消息、以及对消息顺序有要求的顺序消息等。...存储分离架构 TDMQ 是基于 Pulsar 内核，和其它的分布式消息队列不同，Pulsar 采用了计算和存储分离的 2 层架构： Broker 提供消息的生产、发送和管理服务，本身并不存储任何状态信息和消息内容
冯文智 BIGO 借助 Apache Pulsar 提供的高吞吐、低延迟、高可靠性等特性，显著提升了 BIGO 消息处理能力，降低了消息队列运维成本，节约了近 50% 的硬件成本。...而 Pulsar 作云原生消息流平台，其存算分离架构下的动态分区调整，多租户资源隔离，灵活的订阅模式等，都能为基于消息队列的数据传输带来各方面的提升。...大咖推荐-crossoverJie 程威 Apache Pulsar，是面向工业物联网场景的顶级消息队列系统，且提供稳定的实时数据处理能力。...腾讯云在 2020 年上线 TDMQ Pulsar 版，如今已服务众多内外部的客户，日消息吞吐量达数千亿。...Pulsar 集消息和流传输于一体： 可支持企业级消息的强一致性传输，确保消息不丢、不重和顺序性保障，同时支持延迟队列、死信队列、重试队列、事务消息和多种订阅模式等消息特性； 可支持海量流数据传输和存储
Pulsar Meetup 深圳 2024 将于 2024 年 4 月 27 日 周六举办，此次活动由 AscentStream 谙（ān）流科技和腾讯云中间件联合举办。...关于活动 主办单位：AscentStream 谙流科技、腾讯云中间件 活动时间：2024年04月27日 14:00-18:00 活动地址：深圳腾讯大厦2楼多功能厅 活动议程 pulsar-meetup-shenzhen...-2024 关于 Apache Pulsar Apache Pulsar 是 Apache 软件基金会顶级开源项目，是云原生时代领先的分布式消息和流平台。...Pulsar 集消息和流传输于一体： 可支持企业级消息的强一致性传输，确保消息不丢、不重和顺序性保障，同时支持延迟队列、死信队列、重试队列、事务消息和多种订阅模式等消息特性； 可支持海量流数据传输和存储...扫码报名 本次活动采用线下演讲+线上直播形式，线下人数限制在 200 人，先报先得，赶紧来参加吧。 扫描下方二维码，免费报名线下活动，也可从我们合作伙伴处报名。
备注：疫情防控不放松，仍会控制现场活动规模，名额有限，报名从速 活动详情 大融合时代：消息、流、存储三位一体 议题介绍：当新生事物出现时，总有两种角度去观察它，要么把它看小，要么把它放大。...对于 Apache Pulsar，把它看小的角度通常是“Apache Pulsar 只是一个新的消息队列而已“，或者“Apache Pulsar 只是一个新的数据管道而已“，”队列系统早就有了，只是 Apache...张大伟，腾讯 TEG 高级工程师，2016 年加入腾讯数据平台部，在腾讯先后负责实时计算、消息中间件的后台开发工作，目前主要专注于消息队列领域，负责内部高可用消息队列的开发和落地。...Apache Pulsar 在腾讯云的实践 议题介绍：在云原生场景下，消息队列经常面临这样的挑战：性能与一致性无法兼得、用户无法动态的扩缩容，海量 partion 时，ZooKeeper 会遇到性能瓶颈...活跃于开源社区，Apache Pulsar Committer，专注于中间件领域，对消息队列、微服务等方面有丰富的经验。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
