腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

腾讯云中间件的专栏

专栏作者

259

文章

323734

阅读量

127

订阅数

Pulsar 产品新形态：弹性存储能力全新上线！

产品集群架构存储 pulsar

自 2024年4月起，TDMQ Pulsar 版专业集群推出「固定并发规模 + 弹性存储」的产品形态，这种产品形态下，存储可按需使用、按量付费，保证在技术架构稳定领先的前提下，也可为用户降低存储成本。

腾讯云中间件团队

2024-04-08

1220

Kafka 分级存储在腾讯云的实践与演进

存储 kafka 腾讯云实践数据

腾讯云消息队列 Kafka 内核负责人鲁仕林为大家带来了《Kafka 分级存储在腾讯云的实践与演进》的精彩分享，从 Kafka 架构遇到的问题与挑战、Kafka 弹性架构方案类比、Kafka 分级存储架构及原理以及腾讯云的落地与实践四个方面详细分享了 Kafka 分级存储在腾讯云的实践与演进。

腾讯云中间件团队

2023-12-13

3180

Apache RocketMQ 5.0 腾讯云落地实践

apache 存储腾讯云 rocketmq 实践

RocketMQ 最早诞生于淘宝的在线电商交易场景，经过了历年双十一大促流量洪峰的打磨，2016年捐献给 Apache 社区，成为 Apache 社区的顶级项目，并在国内外电商，金融，互联网等各行各业的广大客户落地验证，得到广泛认可。

腾讯云中间件团队

2023-12-09

4050

CKafka 一站式搭建数据流转链路，助力长城车联网平台降低运维成本

存储运维集群数据数据流

长城汽车是一家全球化智能科技公司，业务包括汽车及零部件设计、研发、生产、销售和服务，旗下拥有哈弗、魏牌、欧拉、坦克及长城皮卡。2022年，长城汽车全年销售1,067,523辆，连续7年销量超100万辆。长城汽车面向全球用户提供智能、绿色出行服务，加速向全球化智能科技公司进阶，智能化车型渗透率达86.17%，车联网作为智能化两大应用方向之一，在这个过程中快速发展。

腾讯云中间件团队

2023-11-07

2360

腾讯云消息队列 RocketMQ 5.x 系列产品重磅发布 | 新品优惠

存储腾讯云 rocketmq 产品消息队列

“智变加速，产业焕新”，2023腾讯全球数字生态大会已于9月7-8日完美落幕，40+专场活动展示了腾讯最新的前沿技术、核心产品、解决方案。

腾讯云中间件团队

2023-09-14

3900

重新理解RocketMQ Commit Log存储协议

存储 commit rocketmq 数据协议

最近突然感觉：很多软件、硬件在设计上是有root reason的，不是by desgin如此，而是解决了那时、那个场景的那个需求。一旦了解后，就会感觉在和设计者对话，了解他们的思路，学习他们的方法，思维同屏：活到老学到老。问题思考 1、Consumer Queue Offset是连续的吗，为什么？ 2、Commit Log Offset是连续的吗，为什么？ 3、Java写的文件，默认是大端序还是小端序，为什么？ Commit Log真实分布在大家思考之际，我们回想下commit log是怎么分

腾讯云中间件团队

2023-05-19

1940

关于MQ，你了解多少？（干货分享之二）

存储 mq 服务端集群事务

导语本文梳理笔者 MQ 知识，从消息中间件的基础知识讲起，在有了基础知识后，对市面上各主流的消息中间件进行详细的解析，包括 RabbitMQ、RocketMQ、Kafka、Pulsar，最后再横向对比这几款主流的消息中间件。本篇是系列文章第二篇。 RocketMQ 基础概念 Tag Tag（标签）可以看作子主题，它是消息的第二级类型，用于为用户提供额外的灵活性。使用标签，同一业务模块不同目的的消息就可以用相同 Topic 而不同的 Tag 来标识。比如交易消息又可以分为：交易创建消息、交易完成消息等

腾讯云中间件团队

2023-04-19

4790

生存还是毁灭？一文带你看懂 Pulsar 的消息保留和过期策略

存储 pulsar 队列配置数据

导读 Apache Pulsar 是 Apache 软件基金会顶级项目，是下一代云原生分布式消息流平台，集消息、存储、轻量化函数式计算为一体，采用计算与存储分离架构设计，支持多租户、持久化存储、多机房跨区域数据复制，具有强一致性、高吞吐、低延时及高可扩展性等流数据存储特性。作者介绍冉小龙腾讯云微服务产品中心研发工程师 Apache Pulsar Committer Apache BookKeeper Contributor 默认情况下，Pulsar Broker 会对消息做如下处理：当消息被

腾讯云中间件团队

2023-03-24

1.2K0

Apache Pulsar 技术系列 - Pulsar 总览

apache 存储 pulsar 磁盘数据

导语 Apache Pulsar 是一个多租户、高性能的服务间消息传输解决方案，数据持久化依赖 Apache BookKeeper 实现，支持多租户、低延时、读写分离、跨地域复制、快速扩容、灵活容错等特性。本文将从以下几个方面为大家介绍 Apache Pulsar的设计原理和特性。 1、Apache Pulsar 架构 2、架构设计的优势 3、Pulsar 特性 4、总结 Apache Pulsar 架构存储计算分离 Apache Pulsar 是 Pub/Sub 模型的消息系统，并且从设计上做了存储和

腾讯云中间件团队

2023-03-24

9961

Apache Pulsar 在微信大流量实时推荐场景下的实践

微信缓存网络安全存储 apache

导语本文整理自 8 月 Apache Pulsar Meetup 上，刘燊题为《Apache Pulsar 在微信的大流量实时推荐场景实践》的分享。本文介绍了微信团队在大流量场景下将 Pulsar 部署在 K8s 上的实践与优化、非持久化 Topic 的应用、负载均衡与 Broker 缓存优化实践与 COS Offloader 开发与应用。作者简介刘燊腾讯微信高级研发工程师 Apache Pulsar Contributor 在通信社交领域，微信已经成为国内当之无愧的社交霸主。用户人数在 2018

腾讯云中间件团队

2022-11-11

8620

深入解析Apache Pulsar系列（二） —— Broker消息确认的管理

zookeeper 存储 apache 消息队列 TDMQ 消息队列 CMQ 版

导语我们在之前的《深入解析Apache Pulsar系列之一 —— 客户端消息确认》中介绍过Apache Pulsar客户端的多种消息确认模式。这篇文章中，我们将介绍Broker侧对于消息确认的管理。作者简介林琳腾讯云中间件专家工程师 Apache Pulsar PMC，《深入解析Apache Pulsar》作者。目前专注于中间件领域，在消息队列和微服务方向具有丰富的经验。负责TDMQ的设计与开发工作，目前致力于打造稳定、高效和可扩展的基础组件与服务。客户端通过消息确认机制通知Bro

腾讯云中间件团队

2021-12-21

1.8K0

深度解析：Pulsar的消息存储机制和Bookie的GC机制原理

Apache Pulsar是一个多租户、高性能的服务间消息传输解决方案，支持多租户、低延时、读写分离、跨地域复制、快速扩容、灵活容错等特性。腾讯数据平台部MQ团队对Pulsar做了深入调研以及大量的性能和稳定性方面优化，目前已经在TDbank落地上线。本文是Pulsar技术系列中的一篇，主要简单梳理了Pulsar消息存储与BookKeeper存储文件的清理机制。其中，BookKeeper可以理解为一个NoSQL的存储系统，默认使用RockDB存储索引数据。

腾讯云中间件团队

2021-04-22

2.7K0

你可能并不懂 Apache Pulsar 的消息存储模型

apache 分布式存储

Apache Pulsar 系列第一篇文章为读者们详细解释了 Pulsar 的消息保留和过期策略，本文是系列第二篇，主要从 Pulsar 设计的原理以及在 BookKeeper 中如何存储做一个梳理。

腾讯云中间件团队

2021-03-24

1.5K0

千亿级金融场景下，基于Pulsar的云原生消息队列有怎样的表现？

费用中心腾讯计费消息队列 CMQ 版 kafka 存储

导语：云原生场景，多语言、多种协议兼容，任意多的消息 Topic、任意多的消费者，性能的按需快速扩展成为消息队列基本的要求。本文是对腾讯TEG技术委员会专家工程师刘德志老师在云+社区沙龙 online 的分享整理，介绍基于 Apache Pulsar 的新一代存储计算分离设计的消息队列 TDMQ，希望与大家一同交流。

腾讯云中间件团队

2021-03-24

9330

揭秘Kafka的硬盘设计方案，快速完成PB级数据扩容需求！

kafka 消息队列 CKafka 版存储云硬盘

导语：疫情期间，腾讯医疗为全国人民提供了及时精准的疫情信息服务。腾讯云kafka作为腾讯医疗大数据架构中的关键组件。在面对业务短时间内成倍的数据存储需求的情况下，如何快速响应、快速扩容以支持业务的稳定运行的呢本文将从Kafka集群底层物理机层面硬盘的设计方案，来讲解面对不同的业务需求场景，如何选择好合适的磁盘方案。（编辑：中间件小Q妹）

腾讯云中间件团队

2021-03-24

1K0

没有更多了

社区活动

腾讯技术创作狂欢月

“码”上创作 21 天，分 10000 元奖品池！

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态