前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >盘点 常见MQ : 消息队列总览

盘点 常见MQ : 消息队列总览

原创
作者头像
Java学术趴
发布2022-02-11 11:34:26
1.1K0
发布2022-02-11 11:34:26
举报
文章被收录于专栏:Java全栈·Java全栈·

👨‍🎓作者:Java学术趴 🏦仓库:GithubGitee ✏️博客:CSDN掘金InfoQ云+社区 🚫特别声明:原创不易,未经授权不得转载或抄袭,如需转载可联系小编授权。 🙏版权声明:文章里的部分文字或者图片来自于互联网以及百度百科,如有侵权请尽快联系小编。

☠️每日毒鸡汤:这个社会是存在不公平的,不要抱怨,因为没有用!人总是在反省中进步的!

👋大家好!我是你们的老朋友Java学术趴,今天给大家分享一下常见的MQ消息队列的技术。消息队列是日常大数据开发中必不可少的技术,也是分布式中最重要的一个环节。那么接下来就详细的介绍一下常见的消息队列以及什么样的场景下该使用什么样的消息队列技术。

1.什么是MQ

  • MQ(message queue),字面上看就是一个队列,FIFO先入先出,只不过队列中存放的内容是message而已,还是一种跨进程的通信机制,用于上下游传递消息。在互联网架构中,MQ是以中国非常常见的上下游“逻辑解耦+物理解耦”的消息通信服务。使用了MQ之后,消息发送上游只需要依赖MQ,不用依赖其他服务。

2.为什么使用MQ

  • 流量消峰 : 当请求一个系统的次数达到几万的时候,如果不使用任何的技术,可能会导致系统崩塌。此时就需要使用MQ来让这些请求排队,达到保护系统的功能。但是此时访问的效率就会降低。这个就是流量消峰。
流量消峰
流量消峰
  • 应用解耦 : 就是将一个大的系统中的好多的小系统进行解耦。当一个小的系发生故障的时候,消息队列会监督这个小的系统恢复正常,不会造成整个大的系统进行崩塌。如果不使用消息队列的话,当一个小的系统发生故障的时候,整个大的系统都会崩塌。
应用解耦
应用解耦
  • 异步处理 : 有些服务器之间的调用是异步的。例如A掉哟个B的时候,B需要花很长的时候去执行,但是A需要知道B什么时候可以执行完成。以前都是A过一段时间去调用一次B的回调API,来判断B有没有执行完毕。这种方式很麻烦,使用MQ之后,A调用B服务之后,只需要监听B处理完成的消息。此时A可以继续处理自己的事情。当B处理完消息之后,会发送一条消息给MQ,MQ会将此消息转发给A服务。这样A服务就不用循环调用B的API,A服务还可以及时的获取到异步处理成功的消息。
异步处理
异步处理

3.MQ的分类

3.1 ActiveMQ
  • 优点:单机吞吐量万级,时效性ms(毫秒)级别,可用性高,基于主从架构实现高可用性,很难丢失数据消息。
  • 缺点:官方社区对ActiveMQ5.x 的维护越来越少,高吞吐量场景较少使用。
3.2 Kafka

大数据的杀手锏,谈到大数据领域内的消息传输,则绕不开Kafka,这款为大数据而生的消息中间件,以百万级TPS的吞吐量名声大噪,迅速成为大数据领域的宠儿,在数据采集、传输、存储的过程中发挥着举足轻重给的作用。

TPS就是系统的吞吐量

功能支持:功能比较简单,主要支持简单的MQ功能,在大数据领域的实时计算以及日志采集被大规模使用。

  • 优点:性能卓越,单机写入TPS约在百万条/秒。最大的优点就是吞吐量高。时效性ms级可用性非常高,Kafka是分布式的,一个数据多个副本,少数机器宕机,不会丢失数据,不会导致不可用,消费者采用pull方式获取消息,消息是有序的。通过控制能够保证所有的消息都被消费且仅被消费一次。有优秀的第三方管理界面;在日志方面也较为成熟。
  • 缺点:Kafka单机超过64个队列/分区,Load会发生明显的飙高现象,队列越多,load越高,发送消息响应时间变长,使用的是 短轮询的方式,时效性取决于轮询间隔时间。 小时失败不支持重试;支持消息顺序,但是如果一台代理宕机,就会产生消息乱序,社区更新较慢。
3.3 RocketMQ

RocketMQ是出自阿里巴巴的开源产品,用Java语言编写的,在设计时参考了Kafka,并做出了一些自己的改进。被阿里巴巴广泛应用在订单,交易,充值,流计算,消息推送,日志处理等方面。

  • 优点单机吞吐量十万级,可用性非常高,是分布式架构,消息可以做到0丢失,MQ功能较为完善,还是发呢分布式的,扩展性好, 支持10亿级别的消息堆积。不会因为消息堆积而导致性能下降,源码是Java,我们可以自己订阅源码,定制自己公司的MQ。
  • 缺点支持的客户端语言不多,目前仅支持Java以及C++,其中C++不成熟。 社区活跃度不高,没有在MQ核心中去实现JMS等接口,有些系统要迁移需要修改大量的代码。
3.4 RabbitMQ

2007年发布的,是一个在AMQP(高级消息队列协议)基础上完成的,可复用的企业消息系统,是当前最主流的消息中间件之一。

  • 优点:由于erlang语言的高并发特征,性能较好;吞吐量到万级,MQ的功能比较健壮、完善、易用、跨平台。 支持多语言:Java、PHP、C++、Python等等;开源提供的界面非常棒,社区活跃度较高,更新频率相当的高。
  • 缺点:商业版的学习成本较高。

4.MQ的选择

  1. Kafka:Kafka主要的特是基于Pull的模式来处理消息消费,追求高吞吐量,一开始的目的就是用于日志收集和传输,适合产生大量数据的互联网服务的数据收集业务,大型公司建议使用。
  2. RocketMQ : 天生为金融互联网而生,对于可靠性要求很高的场景,尤其是电商里面的订单扣款,以及业务消峰,在大量交易涌入的时候,后端可能无法及时处理。RocketMQ在稳定性上可能更值得信赖,这些业务场景在阿里双11已经经历了多次的考验,如果你的业务有上述的场景发生,建议可以使用RocketMQ。
  3. RabbitMQ :结合erlang语言本身并发优势,性能好时效性微秒级,社区活跃度比较高,管理界面十分方面,如果你的数据量没有那么大,中小型公司优先选择功能完善的RabbitMQ。

如果需要MQ的笔记,点击星球进行免费获取 星球 (Github地址)如果没有Github的小伙伴儿。

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • 1.什么是MQ
  • 2.为什么使用MQ
  • 3.MQ的分类
    • 3.1 ActiveMQ
      • 3.2 Kafka
        • 3.3 RocketMQ
          • 3.4 RabbitMQ
          • 4.MQ的选择
          相关产品与服务
          消息队列 CMQ 版
          消息队列 CMQ 版(TDMQ for CMQ,简称 TDMQ CMQ 版)是一款分布式高可用的消息队列服务,它能够提供可靠的,基于消息的异步通信机制,能够将分布式部署的不同应用(或同一应用的不同组件)中的信息传递,存储在可靠有效的 CMQ 队列中,防止消息丢失。TDMQ CMQ 版支持多进程同时读写,收发互不干扰,无需各应用或组件始终处于运行状态。
          领券
          问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档