消息队列MQ选型 - Kafka、RabbitMQ对比

image.png

适应场景

异步处理,应用解耦,流量削锋和消息通讯

对比

feature

scenario

Kafka

RabbitMQ

备注

PUB-SUB 发布订阅模型

推拉消费

Consumer消费消息的动作方式。

pull

push/pull

push更关注实时性。pull更关注消费者消费能力。

延迟消费

Producer产生一条消息后,并不希望立刻被消费掉。

X

高阶需求。

consumer group

同一条Message能同时被多个消费组消费,但同一group中,一条Message只会被一个consumer消费

KAFKA: 不需要在管理平台配置。 RabbitMQ:增加需要配置,涉及到内部数据冗余。

消息tag(filter)

以过滤出tag为keyword的message

X

X

消息回溯

从历史中的某个位置重新拉取消息

X

X

只对拉模式,推模式不考虑回溯,支持时间维度offset

事务性

mq内部逻辑,消息状态是否一致

X

和消息中间件内部实现相关。

优先级

消息优先级,consumer优先消费高优先级消息。

X

染色

追踪消息在mq中的具体耗时

X

X

本地读优化

Producer\Consumer 不在同一机房。MQ搭建在P端,C端会存在跨机房访问的问题。

X

X

使用数据同步工具,将P所在机房数据同步到C所在机房的集群。

doubt message(消息追踪)

跨公司,异构系统间,消息状态追踪。

X

X

消息积压

没有被消费的消息在MQ中堆积

支持程度的区别,不同mq会存在不同。

负载均衡

1:防止单点 2:C端压力LB在MQ各节点上。

RMQ:多集群做负载

支持的消息大小

每条消息的大小

无限制

无限制

需要对消息大小做限制,降低系统不确定性。

定期回收消息

mq中的消息一旦被消费后,可以被删除,空间回收。

消费语义

方式分别为:1、最多消费一次 2、最少消费一次3、仅消费一次

2

2

业务方消费端做幂等

对全局序支持

消息在全局保持时序一致

X

X

设计复杂度原因,不考虑支持

备注: “√” 表示目前系统已主持 “X” 表示系统不考虑支持该特性

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏大宽宽的碎碎念

你对Redis的使用靠谱吗?Redis的性能高,吗?Redis可以保证原子性,吗?用Redis可以实现事务,吗?用Redis可以当队列,吗?Redis适合用来做什么?

652100
来自专栏美团技术团队

消息队列设计精要

消息队列已经逐渐成为企业IT系统内部通信的核心手段。它具有低耦合、可靠投递、广播、流量控制、最终一致性等一系列功能,成为异步RPC的主要手段之一。 当今市面上...

88450
来自专栏程序员与猫

MongoDB 存储引擎和数据模型设计

标签: MongoDB NoSQL 1. 存储引擎 1.1 存储引擎是什么 存储引擎是位于持久化数据(通常是放在磁盘或者内存中)和数据库之间的一个操作接口,它负...

278100
来自专栏CDA数据分析师

案例分析:基于消息的分布式架构

美国计算机科学家,LaTex的作者Leslie Lamport说:“分布式系统就是这样一个系统,系统中一个你甚至都不知道的计算机出了故障,却可能导致你自己的计算...

30880
来自专栏程序员的SOD蜜

唯一不变的就是一直在变”--“数据”的华丽“变身术”

 系列文章索引: [WCF邮件通信系统应用 之 数据同步程序 之 设计内幕 之 一] 同步一个数据库要发多少个数据包? [WCF邮件通信系统应用 之 数据同步...

22060
来自专栏H2Cloud

游戏服务器设计之任务系统

游戏服务器设计之任务系统 介绍 任务系统是游戏中最重要的系统之一,本文旨在设计一个轻量清晰的任务系统。通用易扩展是本系统关注的重点。任务系统中当角色的条件满足时...

77040
来自专栏架构师之路

集群信息管理,架构设计中最容易遗漏的一环

准备系统性介绍“技术体系规划”了,这是第一篇。 监控平台,服务治理,调用链跟踪,数据收集中心,自动化运维,自动化测试… 很多要讲,却没想好从哪里入手。 讲Z平台...

43760
来自专栏我和未来有约会

Rails存储库从SVN转向Git

在Ruby on Rails 2.1版本发布的前夕,Rails开发团队也准备将代码的存储库从Subversion迁移到Git之上。在Ruby on Rails的...

19390
来自专栏ThoughtWorks

聊一聊契约测试 | 洞见

如果从契约产生的阶段来说,现有资料表明最早要追溯到西周时期的《周恭王三年裘卫典田契》,将契约文字刻写在器皿上,就是为了使契文中规定的内容得到多方承认、信守,“万...

15050
来自专栏Java后端技术栈

Kafka简介、基本原理、执行流程与使用场景

Apache Kafka是分布式发布-订阅消息系统,在 kafka官网上对 kafka 的定义:一个分布式发布-订阅消息传递系统。 它最初由LinkedIn公司...

13120

扫码关注云+社区

领取腾讯云代金券