导语 | Apache Pulsar 是一个多租户、高性能的服务间消息传输解决方案，支持多租户、低延时、读写分离、跨地域复制、快速扩容、灵活容错等特性。...四、Pulsar延迟消息投递实现原理 从上面的使用方式可以看出，Pulsar 支持的是秒级精度的延迟消息投递，不同于开源 RocketMQ 支持固定时间 level 的延迟。...五、Pulsar延迟消息投递面临的挑战 从 Pulsar 的延迟消息投递实现原理可以看出，该方法简单高效，对 Pulsar 内核侵入性较小，可以支持到任意时间的延迟消息。...结语 本文为大家介绍了延迟消息投递的相关概念和使用场景，并详细拓展了 Apache Pulsar 的实现原理。...目前腾讯云消息队列 TDMQ 上已上线了对 Pulsar 延迟消息投递的支持，Pulsar 社区和数据平台部 MQ 团队下一步也将聚焦在支持大规模延迟消息上。 ?
Apache Pulsar 中抽象了 Topic 来承载用户发送的消息，一条消息发送到 Topic 中之后会经过 Broker 的计算存储到 Bookie 中。...另外，每一个 Message 的 Payload 不同，消息大小不一致会导致每次压缩大小不同，GC 压缩回收的曲线不平稳。.../16569) 往期 推荐 《腾讯云基于 Apache Pulsar 跨地域复制功能实现租户跨集群迁移》 《云原生消息流系统 Apache Pulsar 在腾讯云的大规模生产实践》 《Apache...Pulsar 技术系列 – 基于不同部署策略和配置策略的容灾保障》 《Apache Pulsar 在微信大流量实时推荐场景下的实践》 《百万级 Topic，Apache Pulsar 在腾讯云的稳定性优化实践...》 《千亿级、大规模：腾讯超大 Apache Pulsar 集群性能调优实践》 扫描下方二维码关注本公众号， 了解更多微服务、消息队列的相关信息！
文章摘要 本文整理自 Pulsar Summit Asia 2022 腾讯云高级研发工程师冉小龙的演讲《Deep Dive into Apache Pulsar Lifecycle》。...Apache Pulsar 中抽象了 Topic 来承载用户发送的消息，一条消息发送到 Topic 中之后会经过 Broker 的计算存储到 Bookie 中。...作者简介 冉小龙，腾讯云高级研发工程师，Apache Pulsar Committer，RoP maintainer，Apache Pulsar Go Client、Pulsarctl 与 Go Functions...另外，每一个 Message 的 Payload 不同，消息大小不一致会导致每次压缩大小不同，GC 压缩回收的曲线不平稳。...引用链接 [1] PIP: [https://github.com/apache/pulsar/issues/16569](https://github.com/apache/pulsar/issues
导读：Apache Pulsar 是 Apache 软件基金会顶级项目，是下一代云原生分布式消息流平台，集消息、存储、轻量化函数式计算为一体，采用计算与存储分离架构设计，支持多租户、持久化存储、多机房跨区域数据复制...作者介绍 冉小龙 腾讯云微服务产品中心研发工程师 Apache Pulsar Committer Apache BookKeeper Contributor ---- 背景 Apache Pulsar...通过订阅层的抽象，Pulsar 可以灵活的支持 Queue 和 Streaming 这两种类型的消息队列。...Ack 机制 在 Pulsar 中支持了两种 Ack 的机制，分别是单条 Ack 和批量 Ack。...Storage Size 为了更方便的表述当前消息占用的存储空间的大小，Pulsar 引入了 storageSize 来描述整个概念。
导语 Apache Pulsar 是一个多租户、高性能的服务间消息传输解决方案，支持多租户、低延时、读写分离、跨地域复制（GEO replication）、快速扩容、灵活容错等特性。...在很多场景下，用户需要通过 MQ 实现消息的重新推送能力，比如超时重推、处理异常时重推等，本文介绍 Apache Pulsar 提供的几种消息重推方案。...大小以及 Consumer 当前可以接收的消息数量来推送消息给 Consumer。...详细的交互流程如下图所示： Consumer 在创建之后，会以 MaxReceiveQueue 的大小作为 Permit 值，这个值就是 Consumer 可以缓存的的最大消息条数。...总的来说，Apache Pulsar 提供了多种消息重推的方式，用户可以结合自己的场景，灵活使用，满足自己的业务需求。
导语 我们在之前的《深入解析Apache Pulsar系列之一 —— 客户端消息确认》中介绍过Apache Pulsar客户端的多种消息确认模式。...这篇文章中，我们将介绍Broker侧对于消息确认的管理。 作者简介 林琳 腾讯云中间件专家工程师 Apache Pulsar PMC，《深入解析Apache Pulsar》作者。...分段存储主要是把空洞信息存储到不同的Entry中去，这样能避免超过一个Entry最大消息5MB的限制。 如果我们把空洞信息拆分为多个Entry来存储，首先面临的问题是索引。...如果各位希望系统性地学习Pulsar，可以购买作者出版的新书《深入解析Apache Pulsar》。...消息队列 Pulsar 版是一款基于 Apache Pulsar 自研的消息中间件，具备极好的云原生和 Serverless 特性，兼容 Pulsar 的各个组件与概念，具备计算存储分离，灵活扩缩容的底层优势
作者 | 冉小龙，刘昱 RocketMQ 用户可以无缝迁移到 Apache Pulsar 了。自此，Apache Pulsar 补齐了兼容主流消息队列协议的能力。...RoP 将 RocketMQ 协议处理插件引入 Pulsar broker，这样 Pulsar 就能支持原生 RocketMQ 协议了。 什么是 RoP？...Apache Pulsar 是下一代云原生分布式消息流平台，集消息、存储、轻量化函数式计算为一体。...Pulsar 和 RocketMQ 拥有广泛的用户群体和强劲的开发支持，全球许多头部公司都在使用这两种消息服务。...除此之外，通过 Protobuf 协议，Pulsar 可以更容易地支持并实现多语言的客户端，比如：Java、CPP、Python 和 Go 语言等客户端。
导读 RocketMQ 用户可以无缝迁移到 Apache Pulsar 了。自此，Apache Pulsar 补齐了兼容主流消息队列协议的能力。 我们很高兴地宣布腾讯云中间件开源 RoP！...RoP 将 RocketMQ 协议处理插件引入 Pulsar broker，这样 Pulsar 就能支持原生 RocketMQ 协议了。...为什么开发RoP Apache Pulsar 是下一代云原生分布式消息流平台，集消息、存储、轻量化函数式计算为一体。...Pulsar 和 RocketMQ 拥有广泛的用户群体和强劲的开发支持，全球许多头部公司都在使用这两种消息服务。...除此之外，通过 Protobuf 协议，Pulsar 可以更容易地支持并实现多语言的客户端，比如：Java、CPP、Python 和 Go 语言等客户端。
导语 在 Apache Pulsar 中，为了避免消息的重复投递，消费者进行消息确认是非常重要的一步。...作者简介 林琳 腾讯云中间件专家工程师 Apache Pulsar PMC，《深入解析Apache Pulsar》作者。目前专注于中间件领域，在消息队列和微服务方向具有丰富的经验。...单条消息确认（Acknowledge） 和其他的一些消息系统不同，Pulsar支持一个Partition被多个消费者消费。...如果各位希望系统性地学习Pulsar，可以购买作者出版的新书《深入解析Apache Pulsar》。...｜Apache Pulsar 技术系列》 扫描下方二维码关注本公众号， 了解更多微服务、消息队列的相关信息！
导语 | 在Apache Pulsar中，为了避免消息的重复投递，消费者进行消息确认是非常重要的一步。...总体来说，可以分为以下几种ack场景： 单条消息确认 （acknowledge） 和其他的一些消息系统不同，Pulsar支持一个Partition被多个消费者消费。...当开启后，Pulsar可以支持只ack一个batch里面的某些消息。...在Pulsar中，为了保证消息确认的性能，并避免Broker接收到非常高并发的ack请求，Tracker中默认支持批量确认，即使是单条消息的确认，也会先进入队列，然后再一批发往Broker。...Apache Pulsar PMC，《深入解析Apache Pulsar》作者。目前专注于中间件领域，在消息队列和微服务方向具有丰富的经验。
3.1 支持秒级平滑扩容 Apache Pulsar 支持云原生环境，可以充分利用云原生环境的弹性能力，达到自动、无感知的扩容，按需使用，不影响上层业务。...Apache Pulsar 使用 BookKeeper 作为数据存储层，而 BookKeeper 原生避免数据倾斜问题。 Apache Pulsar 上层 Broker 无状态，原生支持平滑扩容。...Apache Pulsar 没有完全解决所有问题，但已经具备支持海量分区的能力。Apache Pulsar 抽象了 Bundle 的概念。Bundle 的元数据保存在 ZooKeeper。...4.1 云原生下的平滑扩容 我们利用 Apache Pulsar 支持云原生环境进行平滑扩容。...在写入过程中，如果 Ledger 承载的 entry 数量已经超过了限制的大小，Apache Pulsar 会关闭当前 Ledger 并重开一个 Ledger。
本文介绍了平安证券选择 Apache Pulsar 的原因，使用 Apache Pulsar 的场景，Apache Pulsar 实践应用中遇到的问题，以及使用 Apache Pulsar 的未来规划。...4 选择 Apache Pulsar 基于上述业务需求和系统需求，发现 Apache Pulsar 的诸多特性完美契合了我们的需求。 集群模式，支持跨集群同步。...该实现方式下存在一个非常严峻的问题亟待解决：节点发起一个查询大量数据的请求时，假定 Apache Pulsar 设置一个消息 的大小为 8M，TPS 为 1000，那是不是每个节点都要收到这么多请求的回包流量呢...我们目前使用的 Apache Pulsar 2.7.2 还不支持读写分离，计划把 Apache Pulsar 升级到 2.8，就可以轻松实现读写分离，满足消息广播场景的需求。 3....我们期待更多地参与到 Apache Pulsar 的研发中，也期待为 Apache Pulsar 和 Apache Pulsar 社区做出贡献。
概述 KEDA 的触发器支持 Apache Pulsar，即根据 Pulsar 消息队列中的未消费的消息数量进行水平伸缩，用法参考 KEDA Scalers: Apache Pulsar。...腾讯云上也有商业版的 Pulsar 产品，即 TDMQ for Pulsar，本文举例介绍配置基于 TDMQ for Pulsar 消息队列中未消费的消息数量进行水平伸缩，当然如果你自建了开源的 Apache...操作步骤 下面使用 pulsar-demo 来模拟 Pulsar 生产者和消费者，再结合 KEDA 配置实现 Pulsar 消费者基于 Pulsar 消息数量的水平伸缩，在实际使用中，可根据自己的情况进行相应替换...注意：只支持持久化类型的 Topic，配置所需的 Topic 是在这里复制的 Topic 名称前面加 persistent://。...获取 Pulsar JWT Token 确保在 Pulsar 角色管理 创建好需要的角色，并在 Pulsar 命名空间 中【配置权限】，确保所需角色有相应的生产消息或消费消息的权限。
本文整理自 ApacheCon Asia 2022 上，来自华为终端的林琳、王小童关于《华为终端云基于 Apache Pulsar 的消息队列演进》的分享，将介绍 Apache Pulsar 在华为终端云中台建设部署实践的过程中面临的挑战与解决方案...基于 Apache Pulsar 的解决方案 消息队列中台化 当前，华为终端云的消息队列广泛应用于服务间的生产系统。常见业务场景包括服务间异步解耦、 海量 Topic、大数据日志流接入与分析等。...我们希望使用一套架构应对大部分业务场景，减少消息平台的开发维护投入。因此我们基于 Apache Pulsar 构建了消息队列中台，实现了一套集群支持多种客户端接入。该中台具备以下特性： 1....多场景适配：基于 Pulsar 构建的消息中台支持 Kafka、Flink、RESTful 等多协议接入，只需维护一套 Pulsar 集群。中台还支持各个数据接入源的常用认证鉴权机制。 2....而切换到 Pulsar 后，除了能保证不逊色于 Kafka 的高性能，还天然支持各种高级业务特性。我们还一直与社区保持沟通，正在支持超大量级延迟消息。
欢迎您关注《大数据成神之路》 Pulsar简介 Apache Pulsar是一个企业级的分布式消息系统，最初由Yahoo开发并在2016年开源，目前正在Apache基金会下孵化。...Pulsar之所以能够称为下一代消息队列，主要是因为以下特性: 线性扩展。能够丝滑的扩容到成百上千个节点(Kafka扩容需要占用很多系统资源在节点间拷贝数据，而Plusar完全不用) 高吞吐。...Plusar的持久化机制构建在Apache BookKeeper之上，提供了写与读之前的IO隔离 基于地理位置的复制。Plusar将多地域/可用区的复制作为首要特性支持。...ledger被关闭后(例如broker宕机了或者达到了一定的大小)就只支持读取，而当ledger中的数据不再需要的时候(例如所有的消费者都已经消费了这个ledger中的消息)就会被删除。...Plusar目前也支持另一种Reader接口，支持传入一个消息ID，例如说Message.Earliest来从最早的消息开始消费。
Asp.net的默认的最大可以上载的文件是4M,可以在web.config中配置. 配置 ASP.NET HTTP 运行库设置。该节可以在计算机、站点、应用程序和子目录级别声明。...number of requests" versionHeader="version string"/> 可选属性 属性 选项 说明 appRequestQueueLimit ASP.NET 将为应用程序排队的请求的最大数目...executionTimeout 指示在被 ASP.NET 自动关闭前，允许执行请求的最大秒数。 maxRequestLength 指示 ASP.NET 支持的最大文件上载大小。...该限制可用于防止因用户将大量文件传递到该服务器而导致的拒绝服务攻击。指定的大小以 KB 为单位。默认值为 4096 KB (4 MB)。...configuration> 本文由来源 21aspnet，由 javajgs_com 整理编辑，其版权均为 21aspnet 所有，文章内容系作者个人观点，不代表 Java架构师必看 对观点赞同或支持
RocketMQ架构图 Pulsar：Apache Pulsar 是 Apache 软件基金会顶级项目，是下一代云原生分布式消息流平台，集消息、存储、轻量化函数式计算为一体，采用计算与存储分离架构设计，...三、RocketMQ、Kafka、Pulsar 事务消息 3.1 RocketMQ 的事务消息 RocketMQ 在 4.3.0 版中已经支持分布式事务消息，这里 RocketMQ 采用了 2PC 的思想来实现了提交事务消息...其中，事务消息相对普通消息最大的特点就是一阶段发送的消息对用户是不可见的。那么，如何做到写入消息但是对用户不可见呢？...3.3 Pulsar 的事务消息 Apache Pulsar 在 2.8.0 正式支持了事务相关的功能，Pulsar 这里提供的事务区别于 RocketMQ 中 2PC 那种事务的实现方式，没有本地事务回查的机制...Apache Pulsar 中的事务主要用来保证类似 Pulsar Functions 这种流计算场景中 Exactly-once 语义的实现，这也符合 Apache Pulsar 本身 Event Streaming
图片Pulsar：Apache Pulsar 是 Apache 软件基金会顶级项目，是下一代云原生分布式消息流平台，集消息、存储、轻量化函数式计算为一体，采用计算与存储分离架构设计，支持多租户、持久化存储...三、RocketMQ、Kafka、Pulsar事务消息3.1 RocketMQ的事务消息RocketMQ在4.3.0版中已经支持分布式事务消息，这里RocketMQ采用了2PC的思想来实现了提交事务消息...3.3 Pulsar的事务消息Apache Pulsar 在 2.8.0 正式支持了事务相关的功能，Pulsar 这里提供的事务区别于 RocketMQ 中 2PC 那种事务的实现方式，没有本地事务回查的机制...Apache Pulsar 中的事务主要用来保证类似 Pulsar Functions 这种流计算场景中 Exactly-once 语义的实现，这也符合 Apache Pulsar 本身 Event Streaming...参考文章【万字长文】浅谈Apache Kafka --- 入门须知Apache Pulsar 技术系列 - 事务消息pulsar官方doc消息队列（MQ）架构篇之RocketMQApache Pulsar
Pulsar中消息的顺序性和几个因素有关：用户自己的业务线程数、Producer 的路由模式(SinglePartition、RoundRobinPariion等、Topie是否分区、发送方式（同步、异步...Producer发送的消息和到达Broker的消息的顺序如图1所示。...，此时Broker中的消息顺序就和发送队列中的消息顺序不一样了。...6、消息是否有Key对顺序的影响 消息是否有Key是一个很重要的前提，假设我们使用默认的RoundRobinPartition路由方式，在消息没有设置Key的情况下，Producer会以轮询的方式发送消息...如果消息中存在Key,则相同Key的消息都会被投递给同一个Partition,同一个Partition中的消息是有序的。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
