腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

腾讯云中间件的专栏

专栏作者

259

文章

323829

阅读量

127

订阅数

腾讯云基于 Apache Pulsar 跨地域复制功能实现租户跨集群迁移

消息队列 CMQ 版 kafka 迁移 apache css

导语本文整理自 Pulsar Summit Asia 2022 技术峰会上腾讯云中间件高级研发工程师韩明泽的分享《基于跨地域复制实现租户跨集群迁移》。本文主要介绍基于跨地域数据复制和订阅进度同步的实现及优化，以及腾讯云在跨集群迁移过程中遇到的问题及租户跨集群迁移解决方案。作者简介韩明泽毕业于武汉大学，腾讯云中间件高级研发工程师，拥有多年消息中间件开发与运维经验，RoP (RocketMQ-on-Pulsar) Maintainer，Apache Pulsar 贡献者。订阅进度同步的实现及优化

腾讯云中间件团队

2023-02-24

9620

云原生消息流系统 Apache Pulsar 在腾讯云的大规模生产实践

消息队列 CMQ 版 kafka apache unix 缓存

导语由 InfoQ 主办的 Qcon 全球软件开发者大会北京站上周已精彩落幕，腾讯云中间件团队的冉小龙参与了《云原生机构设计与音视频技术应用》专题，带来了以《云原生消息流系统 Apache Pulsar 在腾讯云的大规模生产实践》为主题的精彩演讲，在本篇内容中，将重点围绕腾讯云近期在 Apache Pulsar 稳定性和性能方面优化的工作展开介绍，为开发者提供参考。作者简介冉小龙腾讯云高级研发工程师 Apache Pulsar committer RoP maintainer Apache Pul

腾讯云中间件团队

2023-02-16

1.1K0

消息队列产品12月产品动态

消息队列 Pulsar 版消息队列 RabbitMQ 版消息队列 CMQ 版 kafka 消息队列 RocketMQ 版

12月动态消息队列 CKafka 版【商业化】国内站专业版支持按小时后付费。 ★ 消息队列 RocketMQ 版【商业化】虚拟集群正式商业化：TDMQ RocketMQ 共享版（虚拟集群）于 2022年12月28日结束公测，正式商业化开始计费，计费方式为按量付费（后付费）。【新功能】虚拟集群收发消息调用API 限流：为了保证虚拟集群的稳定性，TDMQ RocketMQ版会以集群和 Topic 为维度进行限流，您可以在集群监控或者 Topic 监控页面查看对应的限流监控指标。【新功能】虚拟集群支持元

腾讯云中间件团队

2023-01-05

1.1K0

Pulsar 在腾讯云的稳定性实践

消息队列 CMQ 版 kafka 运维开源

导语 2022腾讯全球数字生态大会已圆满落幕，大会以“数实创新、产业共进”为主题，聚焦数实融合，探索以全真互联的数字技术助力实体经济高质量发展。大会设有29个产品技术主题专场、18个行业主题专场和6个生态主题专场，各业务负责人与客户、合作伙伴共同总结经验、凝结共识，推动数实融合新发展。本次大会设立了微服务与中间件专场，本专场从产品研发、运维等最佳落地实践出发，详细阐述云原生时代，企业在开发微服务和构建云原生中间件过程中应该怎样少走弯路，聚焦业务需求，助力企业发展创新。随着大数据时代的到来，企业在生产和经

腾讯云中间件团队

2022-12-29

1.7K0

Apache Pulsar 技术系列 – 基于不同部署策略和配置策略的容灾保障

费用中心 apache css 消息队列 CMQ 版 kafka

导语 Apache Pulsar 是一个多租户、高性能的服务间消息传输解决方案，支持多租户、低延时、读写分离、跨地域复制、快速扩容、灵活容错等特性。其原生支持了跨洲际级别的跨地域复制的解决方案，并结合其自身的 tenant 和 namespace 级别的抽象，可以灵活的支持不多种类，不同场景下的跨地域复制解决方案。作者简介范志会腾讯数平高级运维工程师目前腾讯公司内部业务在使用 Pulsar 的过程中，基于综合业务是否在线影响用户体检，是否产生营收影响，以及降本增效趋势下的成本考虑，会选择不同级别的

腾讯云中间件团队

2022-12-15

9400

腾讯云消息队列产品11月产品动态

消息队列 CMQ 版消息队列 RocketMQ 版 kafka 费用中心消息队列 RabbitMQ 版

11月动态消息队列 RocketMQ 版【新功能】支持调整节点规格和存储规格，如当前的集群规格不满足您的业务需求，可以在控制台上提升节点规格、节点数量和存储规格。【新功能】支持公网带宽：专享集群已开启公网带宽计费，开启公网带宽后会新增单独的费用。虚拟集群当前暂未开启公网带宽计费，建议在测试、调试等不影响生产环境的场景下使用公网。【新功能】支持在控制台快速发送测试消息，方便测试和调试。【新功能】查看消息增加消费状态说明：查询消息时，在消息详情页面可以查看消息消费状态，并且支持重新发送消息和查看异常诊

腾讯云中间件团队

2022-12-06

1.7K0

腾讯云消息队列产品10月产品动态

kafka 消息队列 CMQ 版消息队列 RocketMQ 版 apache 消息队列 RabbitMQ 版

10月动态消息队列 RocketMQ 版【商业化】消息队列 RocketMQ 版专享集群正式商业化。基于开源RocketMQ打造，兼容社区SDK，具有低延迟、高性能、高可靠、万亿级消息吞吐等特点。专享版于 5 月开始在外部客户侧进行白名单开放和打磨，已经在多个外部客户落地，涉及教育、出行、游戏等多个行业。购买指南： https://cloud.tencent.com/document/product/1493/61589 【新功能】专享集群支持死信消息查询，在消息查询页面，用户可以根据专享集群的 gr

腾讯云中间件团队

2022-11-02

3.2K0

百万级 Topic，Apache Pulsar 在腾讯云的稳定性优化实践

消息队列 CMQ 版 kafka apache 缓存 node.js

作者简介冉小龙腾讯云高级研发工程师 Apache Pulsar committer RoP maintainer Apache Pulsar Go Client、Pulsarctl 与 Go Functions 作者与主要维护者 Apache Pulsar 作为云原生时代消息流系统，采用存储计算分离架构，支持大集群、多租户、百万级 Topic、跨地域数据复制、持久化存储、分层存储、高可扩展性等企业级和金融级功能。Apache Pulsar 提供了统一的消费模型，支持消息队列和流两种场景，既能为队列场景提

腾讯云中间件团队

2022-09-27

9060

开源盛宴ApacheCon Asia 2022即将开幕，精彩不容错过！

apache go 消息队列 CMQ 版 kafka 开源

导语 ApacheCon 是Apache软件基金会（ASF）的官方全球系列大会，作为久负盛名的开源盛宴，是开源界最具期待的大会之一。关于ApacheCon Asia ApacheCon Asia 2022将于7月29日-31日在线举办，覆盖了数十个类别的Apache 项目内容，从流处理到消息队列、集成等皆有涉及。在今年会议中，Pulsar议题数量较2021年增长2.5倍，覆盖了技术探究、用户案例及生态集成等方向，可谓是精彩纷呈也紧跟热门趋势，欢迎大家在线观看这场Apache 技术盛宴。消息系统分论

腾讯云中间件团队

2022-08-26

4740

倒计时2天|腾讯云消息队列数据接入平台（Data Import Platform）直播预告

消息队列 CMQ 版 tcp/ip 云直播 kafka spring

导语腾讯云消息队列Kafka推出了数据接入平台（Data Import Platform），构建数据源和数据处理系统间的桥梁。为了广大开发者可以更深入的了解DIP，腾讯云消息队列即将推出针对数据接入平台DIP的系列直播，本期为系列直播的第一期，对DIP的应用场景、功能及技术架构等进行解析。关于数据接入平台随着公有云的蓬勃发展，企业基于降本增效的核心诉求，持续不断地将服务搬到公有云上。而在业务不断发展的过程中，基于计算、安全、存储、查询等需求，各种业务对数据的依赖越来越重。企业一般基于开源的方案搭建数

腾讯云中间件团队

2022-06-29

4780

混沌工程在云原生中间件稳定性治理中的实践分享

消息队列 CMQ 版 kafka 微服务 go

导语由中国信息通信研究院举办的首届“精益软件工程大会”已于今日6月16日开幕。关于精益软件工程大会云赋新生，精益求精随着云计算的蓬勃发展以及数字化转型的推进，各行业头部企业都已经开始云上软件开发实践，并形成了良好的带头和示范作用。云计算提升了软件开发运维效率，云测试打破了效能瓶颈进而提升软件质量，以混沌工程为代表的技术理念保障了云上系统稳定性。新一代软件工程将从开发效能升级、软件质量提升、系统稳定性保障三个维度全面革新。在此背景下，中国信息通信研究院将举办首届“精益软件工程大会”。大会以“云赋

腾讯云中间件团队

2022-06-17

7610

分布式任务调度：你知道和不知道的事

分布式 linux 任务调度消息队列 CMQ 版 kafka

导语对于定时任务大家应该都不会陌生，从骨灰级别的Crontab到Spring Task，从QuartZ到xxl-job，随着业务场景越来越多样复杂，定时任务框架也在不断的升级进化。那么今天就来跟大家从以下三个方面聊一聊分布式任务调度：从单机定时任务到分布式任务调度平台的演进过程、腾讯云分布式任务调度平台TCT是如何应运而生的、TCT具体落地案例情况和解决了哪些核心问题。作者简介崔凯腾讯云 CSIG 微服务产品中心产品架构师多年分布式、高并发电子商务系统的研发、系统架构设计经验，擅长主流微服务

腾讯云中间件团队

2022-03-10

1.6K0

Apache Pulsar 技术系列 - Pulsar事务实现原理

消息队列 CMQ 版 kafka

导语 Apache Pulsar 是一个多租户、高性能的服务间消息传输解决方案，支持多租户、低延时、读写分离、跨地域复制、快速扩容、灵活容错等特性。腾讯云MQ Oteam Pulsar工作组对 Pulsar 做了深入调研以及大量的性能和稳定性方面优化，目前已经在TDBank、腾讯云TDMQ落地上线。本篇将简单介绍Pulsar服务端消息确认的一些概念和原理，欢迎大家阅读。作者简介林琳

腾讯云中间件团队

2022-03-03

1.6K0

腾讯云消息队列TDMQ又一系列产品正式开启公测，戳文查看吧！

消息队列 CMQ 版 kafka 开源 apache zookeeper

导语消息队列 RocketMQ 版（TDMQ for RocketMQ，简称 TDMQ RocketMQ 版）在今日正式公测！TDMQ RocketMQ 是TDMQ系列产品中的一款分布式高可用的消息队列服务，兼容 Apache RocketMQ 的各个组件与概念，RocketMQ 4.6及以上版本的客户端几乎零改造接入。欢迎大家扫描文末二维码使用体验！ TDMQ RocketMQ 版的背景 RocketMQ作为典型的业务处理消息队列，主要用于处理订单，支付，积分等业务类型，对信息交换的准确性有极高的要求

腾讯云中间件团队

2022-01-21

9400

Message deduplication 这里的去重与你想的可能不一样|Apache Pulsar 技术系列

zookeeper 消息队列 CKafka 版 kafka apache 消息队列 CMQ 版

导语 Apache Pulsar 是一个多租户、高性能的服务间消息传输解决方案，支持多租户、低延时、读写分离、跨地域复制、快速扩容、灵活容错等特性。腾讯云内部 Pulsar工作组对 Pulsar 做了深入调研以及大量的性能和稳定性方面优化，目前已经在腾讯内部业务TDBank落地上线。本文是Pulsar技术系列中的一篇，主要介绍Pulsar 的 Message Deduplication 特性，供大家参考，避免在使用过程中踩坑。 Message Deduplication背景介绍消息中间件产品设计中，对消

腾讯云中间件团队

2022-01-20

8830

倒计时3天！Apache Pulsar 社区年度盛会——Pulsar Summit Asia 重磅来袭！

rabbitmq apache 消息队列 CMQ 版 kafka go

导语 Pulsar Summit Aisa 2021 将于2022年1月15-16日以线上直播的形式举办。大会将分为主论坛和分论坛，汇聚技术大咖和行业先行者分享 Apache Pulsar 实践经验、用户案例、技术探究和运维故事，交流探讨 Pulsar 项目最新进展和动态，彼此切磋。关于 Pulsar Summit Pulsar Summit 是由 StreamNative 组织的 Apache Pulsar 社区年度盛会。于此盛会，大家分享 Apache Pulsar 实践经验、用户案例、技术探究

腾讯云中间件团队

2022-01-14

6820

腾讯云消息队列TDMQ RabbitMQ 版开启公测，文末有惊喜！

rabbitmq 开源消息队列 CMQ 版 kafka zookeeper

导语 1月6日，TDMQ RabbitMQ 版正式公测！TDMQ RabbitMQ 版是TDMQ系列产品中的一款子产品，是一款分布式高可用的消息队列服务，支持AMQP 0-9-1 协议，完全兼容开源 RabbitMQ 的各个组件与概念。欢迎大家扫描文末二维码使用体验！ TDMQ RabbitMQ 版的背景众所周知，RabbitMQ是一个历史比较悠久的消息队列中间件，它是使用Erlang语言开发的实现AMQP（Advanced Message Queue Protocol 高级消息队列协议）的

腾讯云中间件团队

2022-01-07

1.5K0

腾讯云CKafka重磅上线DataHub，让数据流转更简便

消息队列 CKafka 版消息队列 CMQ 版 kafka 编程算法 zookeeper

导语随着大数据时代的到来，各大互联网公司对于数据的重视程度前所未有，各种业务对数据的依赖也越来越重。有一种观点认为大数据存在 “3V” 特性：Volume, Velocity, Variety。这三个 “V” 表明大数据的三方面特征：量大，实时和多样。这三个主要特征对数据采集系统的影响尤为突出。多种多样的数据源，海量的数据以及实时高效的采集是数据采集系统主要面对的几个问题。我们想要在数据上创造价值，首先要解决数据获取的问题。因为在互联网发展中，企业内或不同企业之间建立了各种不同的业务系统，这些

腾讯云中间件团队

2021-12-22

1K0

深入解析Apache Pulsar系列（二） —— Broker消息确认的管理

zookeeper 存储 apache 消息队列 TDMQ 消息队列 CMQ 版

导语我们在之前的《深入解析Apache Pulsar系列之一 —— 客户端消息确认》中介绍过Apache Pulsar客户端的多种消息确认模式。这篇文章中，我们将介绍Broker侧对于消息确认的管理。作者简介林琳腾讯云中间件专家工程师 Apache Pulsar PMC，《深入解析Apache Pulsar》作者。目前专注于中间件领域，在消息队列和微服务方向具有丰富的经验。负责TDMQ的设计与开发工作，目前致力于打造稳定、高效和可扩展的基础组件与服务。客户端通过消息确认机制通知Bro

腾讯云中间件团队

2021-12-21

1.8K0

腾讯云消息队列 TDMQ Pulsar 版商业化首发｜持续提供高性能、强一致的消息服务

消息队列 CMQ 版消息队列 TDMQ kafka go apache

导语 2021年12月1日，腾讯云分布式消息队列 TDMQ Pulsar 版正式商业化。金融级分布式消息中间件消息队列 TDMQ Pulsar 版是一款基于 Apache Pulsar 自研的金融级分布式消息中间件，具备高一致、高可靠、高并发特性，可为分布式应用系统提供异步解耦和削峰填谷的能力，同时也具备互联网应用所需的海量消息堆积、高吞吐、可靠重试等特性。TDMQ Pulsar 版是一款经历了3年千亿级交易流水考验的消息队列，也是目前真正做到计算与存储分离的云消息队列，从架构上实现了云原

腾讯云中间件团队

2021-12-15

1.3K0

点击加载更多

社区活动

腾讯技术创作狂欢月

“码”上创作 21 天，分 10000 元奖品池！

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态