前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >Kafka淘汰倒计时!这个新一代消息中间件,腾讯、华为都用疯了?

Kafka淘汰倒计时!这个新一代消息中间件,腾讯、华为都用疯了?

作者头像
猿天地
发布2021-05-08 09:48:50
9880
发布2021-05-08 09:48:50
举报
文章被收录于专栏:猿天地猿天地

提起成熟的消息队列,毋庸置疑,大多数人的第一反应一定是 Kafka。

Kafka 作为一款明星级产品,能够彻底满足海量数据场景下高吞吐、高并发需求,在短短几年内,已经被阿里、腾讯、百度、字节跳动、Netflix、Twitter 等超一线大厂视为技术核心——可以说今天还没听说过 Kafka,等于不知道地球是圆的!

然而,技术的世界从没有“三十年河东三十年河西”的说法,夸张地比喻一下:很多技术经常是今天诞生、明天爆火、后天淘汰市面上真的没有其他产品有可能取代 Kafka 吗?一身光环、头顶王冠的 Kafka 究竟还能火多久?

01

消息传递系统之王“陨落”在即

Kafka 最大的对手来了?

Kafka 被誉为消息传递系统之王,它全面具备:高吞吐量、低延迟、容错、持久性、可伸缩性,尤其是广为人知的高吞吐量,Kafka 每秒大约可以生产约 25 万消息(50 MB),每秒处理 55 万消息(110 MB)!Kafka 还有一个巨大的优势就是容错,它具备一个固有功能,可以自行应对集群中的节点故障。

Kafka 当然很强,但在运维和实践过程中,却也始终存在着一些棘手的问题。例如:

扩展性较差,剥离 Broker 意味着必须复制 topic 分区和副本,效率很低; 缺乏一致性,一旦 API 发生变化很有可能出现问题; 存储成本非常高,几乎没有人用Kafka长时间存储数据; 没有与租户完全隔离的本地多租户,需要自行配置解决方案。

俯瞰技术生态,有没有一个平台,能够既拥有 Kafka 的优势,又规避它的缺陷,同时还融合了 MQ 的一系列特性呢?是的,你想要的完美,下一代云原生消息平台、Apache 顶级项目 Pulsar 都可以满足!

02

存储计算分离、分层分片云原生架构

Apache Pulsar

生来,注定是王者!

很多公司常常会在 Kafka 和 MQ 之间做选择,这是因为在实时流式架构中,消息用例可被分为两类:队列和流。而 Pulsar 最优秀的地方正在于此,它将队列和流合二为一,统一为消息传递模型(producer-topic-subscription-consumer)!

也就是说,Pulsar 不仅可以如同 Kafka 一样处理高速率实时场景,还能支持传统的标准消息队列模式,例如多消费者和失效备援订阅等。

一个 Pulsar 系统,直接让你拥有 RabbitMQ + RocketMQ + Kafka 的各项特性!更惊艳的是,Pulsar 采用云原生架构,它的架构设计能够充分利用分布式且能弹性扩容云端资源,永久性告别性能不足。

Pulsar 消息发送模式架构图

目前,Pulsar 已经被腾讯、智联招聘、涂鸦智能、中国移动、中国电信、360、达达集团(京东到家)、苏宁、平安证券、华为等各个领域的巨头争先广泛实践,有全面赶超 Kafka 的趋势,和当年阿里推动 Flink 取代 Spark 的态势非常相似!

2021 移动互联网下半场,高并发、高吞吐已经不再是首要的痛点,几乎可以肯定 Pulsar 将会被越来越多的大厂快速应用,成为下一个风口!

本文参与 腾讯云自媒体分享计划,分享自微信公众号。
原始发表:2021-05-07,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 猿天地 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体分享计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • 01
  • 02
相关产品与服务
消息队列 CMQ 版
消息队列 CMQ 版(TDMQ for CMQ,简称 TDMQ CMQ 版)是一款分布式高可用的消息队列服务,它能够提供可靠的,基于消息的异步通信机制,能够将分布式部署的不同应用(或同一应用的不同组件)中的信息传递,存储在可靠有效的 CMQ 队列中,防止消息丢失。TDMQ CMQ 版支持多进程同时读写,收发互不干扰,无需各应用或组件始终处于运行状态。
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档