腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

腾讯云中间件的专栏

专栏作者

260

文章

324162

阅读量

127

订阅数

Kafka 分级存储在腾讯云的实践与演进

存储 kafka 腾讯云实践数据

腾讯云消息队列 Kafka 内核负责人鲁仕林为大家带来了《Kafka 分级存储在腾讯云的实践与演进》的精彩分享，从 Kafka 架构遇到的问题与挑战、Kafka 弹性架构方案类比、Kafka 分级存储架构及原理以及腾讯云的落地与实践四个方面详细分享了 Kafka 分级存储在腾讯云的实践与演进。

腾讯云中间件团队

2023-12-13

3190

降本增效下如何实现Kafka的稳定性实践？

kafka 集群架构实践消息队列

导语由infoQ主办的QCon 全球软件开发大会·广州站将于2023年5月26-27日正式开幕，本次盛会，腾讯云中间件高级开发工程师许文强将在《稳定性即生命线》专场为大家分享精彩议题，干货满满！稳定性即生命线随着数字化、互联网、云计算等技术的快速发展和普及，各行业越来越以更信息化的形态服务大众，信息化系统已经越来越深入到我们生活的方方面面，在促进各行业发展的同时，也强化了我们对其的依赖程度。而我们除了要面对由于自然灾害、电力中断、网络故障等“黑天鹅”事件引起的系统容灾场景外，还会面临由于人为疏漏、系

腾讯云中间件团队

2023-05-24

4680

跨数据中心下的 Kafka 高可用架构分析

kafka 高可用集群架构数据中心

导语本文介绍了 Kafka 跨数据中心的两种部署方式，简要分析两种方式下的不同架构以及优缺点，对这些架构可能碰到的问题也提供了一些解决思路；同时也说明了 Kafka 跨数据中心部署的社区解决方案和商业化解决方案。背景 Kafka 作为世界上最流行的消息中间件之一，一般是客户数据链路中的核心组件，高可用性是客户很关注的因素。近期在对接云上客户时发现，客户对 Kafka 的高可用也有需求，行业架构师也想了解 Kafka 高可用的方案细节；有些客户是需要云上 Kafka 的高可用能力，有些客户需要 IDC

腾讯云中间件团队

2023-04-28

1.3K0

万字干货：Kafka 高可靠高性能原理探究

kafka 高性能日志数据原理

引言在探究 Kafka 核心知识之前，我们先思考一个问题：什么场景会促使我们使用 .Kafka? 说到这里，我们头脑中或多或少会蹦出异步解耦和削峰填谷等字样，是的，这就是 Kafka 最重要的落地场

腾讯云中间件团队

2023-04-06

8410

腾讯云基于 Apache Pulsar 跨地域复制功能实现租户跨集群迁移

消息队列 CMQ 版 kafka 迁移 apache css

导语本文整理自 Pulsar Summit Asia 2022 技术峰会上腾讯云中间件高级研发工程师韩明泽的分享《基于跨地域复制实现租户跨集群迁移》。本文主要介绍基于跨地域数据复制和订阅进度同步的实现及优化，以及腾讯云在跨集群迁移过程中遇到的问题及租户跨集群迁移解决方案。作者简介韩明泽毕业于武汉大学，腾讯云中间件高级研发工程师，拥有多年消息中间件开发与运维经验，RoP (RocketMQ-on-Pulsar) Maintainer，Apache Pulsar 贡献者。订阅进度同步的实现及优化

腾讯云中间件团队

2023-02-24

9690

云原生消息流系统 Apache Pulsar 在腾讯云的大规模生产实践

消息队列 CMQ 版 kafka apache unix 缓存

导语由 InfoQ 主办的 Qcon 全球软件开发者大会北京站上周已精彩落幕，腾讯云中间件团队的冉小龙参与了《云原生机构设计与音视频技术应用》专题，带来了以《云原生消息流系统 Apache Pulsar 在腾讯云的大规模生产实践》为主题的精彩演讲，在本篇内容中，将重点围绕腾讯云近期在 Apache Pulsar 稳定性和性能方面优化的工作展开介绍，为开发者提供参考。作者简介冉小龙腾讯云高级研发工程师 Apache Pulsar committer RoP maintainer Apache Pul

腾讯云中间件团队

2023-02-16

1.1K0

消息队列产品12月产品动态

消息队列 Pulsar 版消息队列 RabbitMQ 版消息队列 CMQ 版 kafka 消息队列 RocketMQ 版

12月动态消息队列 CKafka 版【商业化】国内站专业版支持按小时后付费。 ★ 消息队列 RocketMQ 版【商业化】虚拟集群正式商业化：TDMQ RocketMQ 共享版（虚拟集群）于 2022年12月28日结束公测，正式商业化开始计费，计费方式为按量付费（后付费）。【新功能】虚拟集群收发消息调用API 限流：为了保证虚拟集群的稳定性，TDMQ RocketMQ版会以集群和 Topic 为维度进行限流，您可以在集群监控或者 Topic 监控页面查看对应的限流监控指标。【新功能】虚拟集群支持元

腾讯云中间件团队

2023-01-05

1.1K0

Pulsar 在腾讯云的稳定性实践

消息队列 CMQ 版 kafka 运维开源

导语 2022腾讯全球数字生态大会已圆满落幕，大会以“数实创新、产业共进”为主题，聚焦数实融合，探索以全真互联的数字技术助力实体经济高质量发展。大会设有29个产品技术主题专场、18个行业主题专场和6个生态主题专场，各业务负责人与客户、合作伙伴共同总结经验、凝结共识，推动数实融合新发展。本次大会设立了微服务与中间件专场，本专场从产品研发、运维等最佳落地实践出发，详细阐述云原生时代，企业在开发微服务和构建云原生中间件过程中应该怎样少走弯路，聚焦业务需求，助力企业发展创新。随着大数据时代的到来，企业在生产和经

腾讯云中间件团队

2022-12-29

1.7K0

轻量级SaaS化应用数据链路构建方案的技术探索及落地实践

数据集成编程算法 kafka 数据库 sql

导语 2022腾讯全球数字生态大会已圆满落幕，大会以“数实创新、产业共进”为主题，聚焦数实融合，探索以全真互联的数字技术助力实体经济高质量发展。大会设有29个产品技术主题专场、18个行业主题专场和6个生态主题专场，各业务负责人与客户、合作伙伴共同总结经验、凝结共识，推动数实融合新发展。本次大会设立了微服务与中间件专场，本专场从产品研发、运维等最佳落地实践出发，详细阐述云原生时代，企业在开发微服务和构建云原生中间件过程中应该怎样少走弯路，聚焦业务需求，助力企业发展创新。随着大数据时代的到来，企业在生产和经

腾讯云中间件团队

2022-12-20

7390

Apache Pulsar 技术系列 – 基于不同部署策略和配置策略的容灾保障

费用中心 apache css 消息队列 CMQ 版 kafka

导语 Apache Pulsar 是一个多租户、高性能的服务间消息传输解决方案，支持多租户、低延时、读写分离、跨地域复制、快速扩容、灵活容错等特性。其原生支持了跨洲际级别的跨地域复制的解决方案，并结合其自身的 tenant 和 namespace 级别的抽象，可以灵活的支持不多种类，不同场景下的跨地域复制解决方案。作者简介范志会腾讯数平高级运维工程师目前腾讯公司内部业务在使用 Pulsar 的过程中，基于综合业务是否在线影响用户体检，是否产生营收影响，以及降本增效趋势下的成本考虑，会选择不同级别的

腾讯云中间件团队

2022-12-15

9410

腾讯云消息队列产品11月产品动态

消息队列 CMQ 版消息队列 RocketMQ 版 kafka 费用中心消息队列 RabbitMQ 版

11月动态消息队列 RocketMQ 版【新功能】支持调整节点规格和存储规格，如当前的集群规格不满足您的业务需求，可以在控制台上提升节点规格、节点数量和存储规格。【新功能】支持公网带宽：专享集群已开启公网带宽计费，开启公网带宽后会新增单独的费用。虚拟集群当前暂未开启公网带宽计费，建议在测试、调试等不影响生产环境的场景下使用公网。【新功能】支持在控制台快速发送测试消息，方便测试和调试。【新功能】查看消息增加消费状态说明：查询消息时，在消息详情页面可以查看消息消费状态，并且支持重新发送消息和查看异常诊

腾讯云中间件团队

2022-12-06

1.7K0

腾讯云消息队列产品10月产品动态

kafka 消息队列 CMQ 版消息队列 RocketMQ 版 apache 消息队列 RabbitMQ 版

10月动态消息队列 RocketMQ 版【商业化】消息队列 RocketMQ 版专享集群正式商业化。基于开源RocketMQ打造，兼容社区SDK，具有低延迟、高性能、高可靠、万亿级消息吞吐等特点。专享版于 5 月开始在外部客户侧进行白名单开放和打磨，已经在多个外部客户落地，涉及教育、出行、游戏等多个行业。购买指南： https://cloud.tencent.com/document/product/1493/61589 【新功能】专享集群支持死信消息查询，在消息查询页面，用户可以根据专享集群的 gr

腾讯云中间件团队

2022-11-02

3.2K0

百万级 Topic，Apache Pulsar 在腾讯云的稳定性优化实践

消息队列 CMQ 版 kafka apache 缓存 node.js

作者简介冉小龙腾讯云高级研发工程师 Apache Pulsar committer RoP maintainer Apache Pulsar Go Client、Pulsarctl 与 Go Functions 作者与主要维护者 Apache Pulsar 作为云原生时代消息流系统，采用存储计算分离架构，支持大集群、多租户、百万级 Topic、跨地域数据复制、持久化存储、分层存储、高可扩展性等企业级和金融级功能。Apache Pulsar 提供了统一的消费模型，支持消息队列和流两种场景，既能为队列场景提

腾讯云中间件团队

2022-09-27

9070

开源盛宴ApacheCon Asia 2022即将开幕，精彩不容错过！

apache go 消息队列 CMQ 版 kafka 开源

导语 ApacheCon 是Apache软件基金会（ASF）的官方全球系列大会，作为久负盛名的开源盛宴，是开源界最具期待的大会之一。关于ApacheCon Asia ApacheCon Asia 2022将于7月29日-31日在线举办，覆盖了数十个类别的Apache 项目内容，从流处理到消息队列、集成等皆有涉及。在今年会议中，Pulsar议题数量较2021年增长2.5倍，覆盖了技术探究、用户案例及生态集成等方向，可谓是精彩纷呈也紧跟热门趋势，欢迎大家在线观看这场Apache 技术盛宴。消息系统分论

腾讯云中间件团队

2022-08-26

4740

倒计时2天|腾讯云消息队列数据接入平台（Data Import Platform）直播预告

消息队列 CMQ 版 tcp/ip 云直播 kafka spring

导语腾讯云消息队列Kafka推出了数据接入平台（Data Import Platform），构建数据源和数据处理系统间的桥梁。为了广大开发者可以更深入的了解DIP，腾讯云消息队列即将推出针对数据接入平台DIP的系列直播，本期为系列直播的第一期，对DIP的应用场景、功能及技术架构等进行解析。关于数据接入平台随着公有云的蓬勃发展，企业基于降本增效的核心诉求，持续不断地将服务搬到公有云上。而在业务不断发展的过程中，基于计算、安全、存储、查询等需求，各种业务对数据的依赖越来越重。企业一般基于开源的方案搭建数

腾讯云中间件团队

2022-06-29

4790

混沌工程在云原生中间件稳定性治理中的实践分享

消息队列 CMQ 版 kafka 微服务 go

导语由中国信息通信研究院举办的首届“精益软件工程大会”已于今日6月16日开幕。关于精益软件工程大会云赋新生，精益求精随着云计算的蓬勃发展以及数字化转型的推进，各行业头部企业都已经开始云上软件开发实践，并形成了良好的带头和示范作用。云计算提升了软件开发运维效率，云测试打破了效能瓶颈进而提升软件质量，以混沌工程为代表的技术理念保障了云上系统稳定性。新一代软件工程将从开发效能升级、软件质量提升、系统稳定性保障三个维度全面革新。在此背景下，中国信息通信研究院将举办首届“精益软件工程大会”。大会以“云赋

腾讯云中间件团队

2022-06-17

7640

分布式任务调度：你知道和不知道的事

分布式 linux 任务调度消息队列 CMQ 版 kafka

导语对于定时任务大家应该都不会陌生，从骨灰级别的Crontab到Spring Task，从QuartZ到xxl-job，随着业务场景越来越多样复杂，定时任务框架也在不断的升级进化。那么今天就来跟大家从以下三个方面聊一聊分布式任务调度：从单机定时任务到分布式任务调度平台的演进过程、腾讯云分布式任务调度平台TCT是如何应运而生的、TCT具体落地案例情况和解决了哪些核心问题。作者简介崔凯腾讯云 CSIG 微服务产品中心产品架构师多年分布式、高并发电子商务系统的研发、系统架构设计经验，擅长主流微服务

腾讯云中间件团队

2022-03-10

1.6K0

Apache Pulsar 技术系列 - Pulsar事务实现原理

消息队列 CMQ 版 kafka

导语 Apache Pulsar 是一个多租户、高性能的服务间消息传输解决方案，支持多租户、低延时、读写分离、跨地域复制、快速扩容、灵活容错等特性。腾讯云MQ Oteam Pulsar工作组对 Pulsar 做了深入调研以及大量的性能和稳定性方面优化，目前已经在TDBank、腾讯云TDMQ落地上线。本篇将简单介绍Pulsar服务端消息确认的一些概念和原理，欢迎大家阅读。作者简介林琳

腾讯云中间件团队

2022-03-03

1.6K0

腾讯云消息队列TDMQ又一系列产品正式开启公测，戳文查看吧！

消息队列 CMQ 版 kafka 开源 apache zookeeper

导语消息队列 RocketMQ 版（TDMQ for RocketMQ，简称 TDMQ RocketMQ 版）在今日正式公测！TDMQ RocketMQ 是TDMQ系列产品中的一款分布式高可用的消息队列服务，兼容 Apache RocketMQ 的各个组件与概念，RocketMQ 4.6及以上版本的客户端几乎零改造接入。欢迎大家扫描文末二维码使用体验！ TDMQ RocketMQ 版的背景 RocketMQ作为典型的业务处理消息队列，主要用于处理订单，支付，积分等业务类型，对信息交换的准确性有极高的要求

腾讯云中间件团队

2022-01-21

9400

Message deduplication 这里的去重与你想的可能不一样|Apache Pulsar 技术系列

zookeeper 消息队列 CKafka 版 kafka apache 消息队列 CMQ 版

导语 Apache Pulsar 是一个多租户、高性能的服务间消息传输解决方案，支持多租户、低延时、读写分离、跨地域复制、快速扩容、灵活容错等特性。腾讯云内部 Pulsar工作组对 Pulsar 做了深入调研以及大量的性能和稳定性方面优化，目前已经在腾讯内部业务TDBank落地上线。本文是Pulsar技术系列中的一篇，主要介绍Pulsar 的 Message Deduplication 特性，供大家参考，避免在使用过程中踩坑。 Message Deduplication背景介绍消息中间件产品设计中，对消

腾讯云中间件团队

2022-01-20

8830

点击加载更多

社区活动

腾讯技术创作狂欢月

“码”上创作 21 天，分 10000 元奖品池！

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态