导语 Apache Pulsar 是一个多租户、高性能的服务间消息传输解决方案，数据持久化依赖 Apache BookKeeper 实现，支持多租户、低延时、读写分离、跨地域复制、快速扩容、灵活容错等特性...可扩展性 由于消息服务层和持久存储层是分开的，因此 Apache Pulsar 可以独立地扩展存储层和服务层。...在 Apache Pulsar 中数据存储和数据服务分离，所以新 Broker 接管分区的所有权时，它不需要复制 Partiton 的数据。...另外，Segment 存储的多个副本都可以提供读取服务，相比于主从副本的设计，Apache Pulsar 可以提供更好的数据读取能力。...在腾讯云的稳定性优化实践》 《千亿级、大规模：腾讯超大 Apache Pulsar 集群性能调优实践》 扫描下方二维码关注本公众号， 了解更多微服务、消息队列的相关信息！
Pulsar是pub-sub模式的分布式消息平台，拥有灵活的消息模型和直观的客户端API。 Pulsar由雅虎开发并开源的下一代消息系统，目前是Apache软件基金会的孵化器项目。...架构 Pulsar采用“存储和服务分离”的两层架构（这是Pulsar区别于其他MQ系统最重要的一点，也是所谓的“下一代消息系统”的核心）： Broker：提供发布和订阅的服务（Pulsar的组件） Bookie...负责集群间的数据复制 GEO-REPLICATOIN 多个Broker节点组成一个Pulsar Cluster；多个Pulsar Cluster组成一个Pulsar Instance。...Pulsar 架构 单层架构，Broker服务也负责存储 存储和服务分离，Broker负责提供服务，BookKeeper提供存储能力 存储 Master-Slave结构 BookKeeper，高可用存储...的概念和架构，最重要的是去理解“存储和服务”分离的两层架构。
导读 Apache Pulsar 在 2.8.0 正式支持了事务相关的功能，Pulsar 这里提供的事务区别于 RocketMQ 中 2PC 那种事务的实现方式，没有本地事务回查的机制，更类似于 Kafka...Apache Pulsar 中的事务主要用来保证类似 Pulsar Functions 这种流计算场景中 Exactly Once 语义的实现，这也符合 Apache Pulsar 本身 Event Streaming...作者简介 冉小龙-腾讯云中间件团队研发工程师 Apache Pulsar committer RoP 作者及 Maintainer Apache BookKeeper contributor Apache...Pulsar Go client 作者 Apache Pulsar Go Functions作者 Stremnative/pulsarctl 作者 基本概念 为了更好的理解和实现事务相关的逻辑，Apache...扫码点击“立即使用”，即可免费体验 微服务平台TSF 稳定、高性能的技术中台。一个围绕着应用和微服务的 PaaS 平台，提供应用全生命周期管理、数据化运营、立体化监控和服务治理等功能。
今天在写性能测试报告的时候需要使用到数据,打算用做一下性能测试,然后在百度后发现了一款Apache开源的Jmeter压测工具 Jmeter概述: Apache JMeter是一款纯java编写负载功能测试和性能测试开源工具软件...相比Loadrunner而言，JMeter小巧轻便且免费，逐渐成为了主流的性能测试工具，是每个测试人员都必须要掌握的工具之一。...Http请求主要参数详解： Web服务器 协议：向目标服务器发送HTTP请求协议，可以是HTTP或HTTPS，默认为HTTP 服务器名称或IP ：HTTP请求发送的目标服务器名称或...这样，我们就完成了一个完整Http接口的JMeter性能测试脚本编写。 执行测试: 点击绿色小箭头按钮即可启动测试，测试之前需要点击小扫把按钮清除之前的调试结果。 ? ...KB/Sec：每秒从服务器端接收到的数据量，相当于LoadRunner中的Throughput/Sec 一般而言，性能测试中我们需要重点关注的数据有： #Samples 请求数，Average 平均响应时间
速率限制器是 Pulsar 服务质量（Qos）保证的重要渠道，主要解决了以下问题： 速率限制器的高 CPU 负载 大量的锁竞争会影响 Netty IO 线程，从而增加其他 topic 的发送延迟 更好的代码封装...参考链接： https://github.com/apache/pulsar/blob/master/pip/pip-318.md https://pulsar.apache.org/docs/3.2..../apache/pulsar/blob/master/pip/pip_307.md https://github.com/apache/pulsar/blob/master/pip/pip-290.md...https://github.com/apache/pulsar/pull/20663 https://github.com/apache/pulsar/pull/20614 https://github.com.../apache/pulsar/blob/master/pip/pip-326.md https://pulsar.apache.org/contribute/
导语 Apache Pulsar 是一个多租户、高性能的服务间消息传输解决方案，支持多租户、低延时、读写分离、跨地域复制、快速扩容、灵活容错等特性。...腾讯云MQ Oteam Pulsar工作组对 Pulsar 做了深入调研以及大量的性能和稳定性方面优化，目前已经在TDBank、腾讯云TDMQ落地上线。...本篇将简单介绍Pulsar服务端消息确认的一些概念和原理，欢迎大家阅读。...Pulsar PMC，《深入解析Apache Pulsar》作者。...如果各位希望系统性地学习Pulsar，可以购买作者出版的新书《深入解析Apache Pulsar》。
环境参数 ActiveMQ版本：apache-activemq-5.9.0 Jmeter版本：apache-jmeter-2.12 参数配置 1、将%ActiveHome%/lib下的jar...jcl-over-slf4j-1.7.5 insight-log-core-7.2.0.redhat-024 2、运行%JMeterHome%/bin/jmeter.bat 3、测试计划...Communication style:Request Only 其他参数自定义 6、JNDI Properties项配置参数： initial Context Factory:org.apache.activemq.jndi.ActiveMQInitialContextFactory...java.naming.factory.initial = org.apache.activemq.jndi.ActiveMQInitialContextFactory
Apache Pulsar -- 从消息系统到流原生平台 ?摘要： 本次分享主要介绍 Apache Pulsar 的特性，从技术和社区多个角度讲解： 1. Apache Pulsar 是什么 2....Apache Pulsar 的差异化亮点 3. Apache Pulsar 与流原生 4. 社区案例分享 ---- ---- 2. Apache IoTDB 的前世今生与技术细节揭秘 ?...Apache IoTDB 是目前唯一一个从我国高校走进 Apache 的项目，其读写性能远超当前市面上的常见时序数据库。...本次分享会介绍为什么做 IoTDB、IoTDB 如何从实验室技术原型系统变为工业级产品、以及 IoTDB 如何实现每秒数千万数据点的写入性能。 ---- 3....在长期的数据平台研发与运维实践中，消息中间件在高可靠与高性能场景下的开发、部署与运维得到了逐步完善。
测试时，可以通过查看日志文件/var/log/apache2/error.log，如果发现如下内容，就应该增大MaxClients了： [error] server reached MaxClients.../docs/2.4/en/mod/mpm_common.html 5、通用配置优化 硬件和操作系统 影响web服务器性能最大的硬件问题是RAM。...注：配置文件 installation_dir/conf/extra/httpd-default.conf 建议在其它机器上处理这类日志，而不是在web生产服务器上，这样做是为了不影响服务器性能 如果使用任意...为了最佳性能，使用这些指令时，尽可能的使用IP地址，而不是名字。...为了更高的性能，每个地方都使用AllowOverride None。
Mac自带了Apache环境 打开“终端(terminal)”，输入 sudo apachectl -v，（可能需要输入机器秘密）。如下显示Apache的版本 ?...其位于“/Library（资源库）/WebServer/Documents/”下，这就是Apache的默认根目录。 Apache的安装目录在：/etc/apache2/，etc默认是隐藏的。...安装apache sudo port install apache2 启动apache: sudo apachectl start 2. brew install pcre 3. wget http...://ftp.yz.yamagata-u.ac.jp/pub/network/apache//httpd/httpd-2.4.4.tar.bz2 (1)解压 (2) ....tr行属性 -z td列属性 -C 设置cookie 例如Apach=1234 -H header行， 例如Accept-Encoding:gzip -k 是否标示位HTTP Keep Alive 测试结果
我们比较选型的消息系统有三个：Kafka、RocketMQ 和 Pulsar。测试之前，我们通过网上的公开数据，对三者的性能和功能进行了简单的对比，表 2 为对比结果。...开源 Pulsar 并将其捐赠给 Apache 软件基金会，2018 年 Pulsar 成为 Apache 软件基金会的顶级项目。...Pulsar 测试过程 测试结论如下： 部署方式：混合部署优于分开部署。broker 和 bookie 可以部署在同一个节点上，也可以分开部署。...节点数量较多时，分开部署较好；节点数量较少或对性能要求较高时，将二者部署在同一个节点上较好，可以节省网络带宽，降低延迟。 负载大小：随着测试负载的增大，tps 降低，吞吐量稳定。...另外，我们与 Apache Pulsar 项目的核心开发人员交流沟通时间较早，他们在 Yahoo!
作者简介 冉小龙，腾讯云高级研发工程师，Apache Pulsar Committer，RoP maintainer，Apache Pulsar Go Client、Pulsarctl 与 Go Functions...引用链接 [1] PIP: [https://github.com/apache/pulsar/issues/16569](https://github.com/apache/pulsar/issues.../16569) 往期 推荐 《腾讯云基于 Apache Pulsar 跨地域复制功能实现租户跨集群迁移》 《云原生消息流系统 Apache Pulsar 在腾讯云的大规模生产实践》 《Apache...Pulsar 技术系列 – 基于不同部署策略和配置策略的容灾保障》 《Apache Pulsar 在微信大流量实时推荐场景下的实践》 《百万级 Topic，Apache Pulsar 在腾讯云的稳定性优化实践...》 《千亿级、大规模：腾讯超大 Apache Pulsar 集群性能调优实践》 扫描下方二维码关注本公众号， 了解更多微服务、消息队列的相关信息！
导语 | Apache Pulsar 是一个多租户、高性能的服务间消息传输解决方案，支持多租户、低延时、读写分离、跨地域复制、快速扩容、灵活容错等特性。...腾讯数据平台部 MQ 团队对 Pulsar 做了深入调研以及大量的性能和稳定性方面优化，目前已经在腾讯云消息队列 TDMQ 落地上线。本文主要介绍Pulsar延迟消息投递的实现，希望与大家一同交流。...：Producer 将消息发送到 MQ 服务端，但并不期望这条消息立马投递，而是推迟到在当前时间点之后的某一个时间投递到 Consumer 进行消费。...延迟消息：Producer 将消息发送到 MQ 服务端，但并不期望这条消息立马投递，而是延迟一定时间后才投递到 Consumer 进行消费。...结语 本文为大家介绍了延迟消息投递的相关概念和使用场景，并详细拓展了 Apache Pulsar 的实现原理。
Apache InLong(incubating) 简介 Apache InLong（应龙 https://inlong.apache.org）是腾讯捐献给 Apache 社区的一站式数据流接入服务平台...，提供自动、安全、可靠和高性能的数据传输能力，方便业务构建基于流式的数据分析、建模和应用。...InLong 项目原名 TubeMQ ，专注于高性能、低成本的消息队列服务。为了进一步释放 TubeMQ 周边的生态能力，我们将项目升级为 InLong，专注打造一站式数据流接入服务平台。...inlong-tubemq，腾讯自研的消息队列服务，专注于大数据场景下海量数据的高性能存储和传输，在海量实践和低成本方面有着良好的核心优势。...Apache Pulsar 简介 Apache Pulsar 是 Pub/Sub 模型的消息系统，并且从设计上做了存储和计算的分离。
导语 Apache Pulsar 是一个多租户、高性能的服务间消息传输解决方案，支持多租户、低延时、读写分离、跨地域复制（GEO replication）、快速扩容、灵活容错等特性。...同时为了达到高性能，低延时、高可用，Pulsar 在客户端也做了很多的优化，本文主要讲述 PulsarClient 基本原理和实现。...只有在创建具体的客户端时，才会和服务端有交互。 Producer 创建 Pulsar 是以 Topic 粒度对外提供服务，多分区 Topic 等同于多个不同数字后缀的 Topic 集合。...《微服务高可用容灾架构设计》 《Apache pulsar 技术系列-- 消息重推的几种方式》 《Apache Pulsar 技术系列 - GEO replication 中订阅状态的同步原理》...《CKafka 跨洋数据同步性能优化》 《微服务优雅上下线的实践方法》 《基于 DTS 同步 MySQL 全增量数据至 CKafka，构建实时数仓的最佳实践》 《业务高速增长，如祺出行如何用腾讯云消息队列
Apache Pulsar, RabbitMQ, RocketMQ机器消耗对比 完整搭建一个三节点的性能最优的集群，需要多少台机器 RabbitMQ ?...Apache Pulsar ? Pulsar 由 3 个主要组件组成：broker、Apache BookKeeper 和 Apache ZooKeeper。...启动broker # 后台启动 bin/pulsar-daemon start broker 官方建议至少需要6台机器： 3 台用于运行ZooKeeper 集群，建议使用性能较弱的机器，Pulsar...3 用于运行bookie 集群和broker 集群，建议使用性能强劲的机器。...备注：RabbitMQ和Apache Pulsar的三个节点都可以收发消息，而RocketMQ在主节点可以收发消息，从节点可以向Consumer发消息但是不能接收Producer的消息。
导语 近期，腾讯 TEG 数据平部 MQ 团队开发部署了一套底层运维指标性能分析系统（本文简称 Data 项目） ，目前作为通用基础设施服务整个腾讯集团。...腾讯 Data 项目选用 Apache Pulsar 作为消息系统，其服务端采用 CVM 服务器（Cloud Virtual Machine，CVM）部署，并将生产者和消费者部署在 Kubernetes...经过综合对比市面上常见的消息系统，Apache Pulsar 凭借其功能和性能胜出。...分支最新代码 4 生产者 Pod 数量 150左右 _ 5 消费者 Pod 数量 1w个左右 _ 6 客户端部署平台 STKE 腾讯内部的腾讯云容器服务平台 本文接下来将介绍 Pulsar 客户端在多种场景下的性能调优...客戶端性能调优：问题与方案 调优一：客户端生产超时，服务器端排查 在大集群下，导致客户端生产消息耗时较长或生产超时的原因有很多，我们先来看几个服务器端的原因，包括： 消息确认信息过大（确认空洞） Pulsar-io
文章摘要 本文整理自 Pulsar Summit Asia 2022 腾讯云高级研发工程师冉小龙的演讲《Deep Dive into Apache Pulsar Lifecycle》。...Apache Pulsar 中抽象了 Topic 来承载用户发送的消息，一条消息发送到 Topic 中之后会经过 Broker 的计算存储到 Bookie 中。...作者简介 冉小龙，腾讯云高级研发工程师，Apache Pulsar Committer，RoP maintainer，Apache Pulsar Go Client、Pulsarctl 与 Go Functions...的概念，一个 Topic 内可以创建多个 Partition，作用是增加并发处理的能力，即一个 Topic 中的消息可以分发到多个 Partition，由多个 Partition 承载 Topic 的服务...引用链接 [1] PIP: [https://github.com/apache/pulsar/issues/16569](https://github.com/apache/pulsar/issues
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
