消息队列的应用场景十分广泛,主流的消息中间件有ActiveMQ,RabbitMQ,RocketMQ,ZeroMQ,Kafka等,ActiveMQ是最老牌的MQ,它是Apache的开源项目,ZeroMQ是最快的消息队列,RabbitMQ也很不错,RocketMQ是阿里巴巴的开源项目,现在已经捐赠给Apache并成为了Apache的顶级项目,Kafka是吞吐量最高的消息中间件,常用于日志的处理,可能因为吞吐量的原因,ActiveMQ和RabiitMQ的活跃度越来越低,RocketMQ因为有相当好的性能,抗过了阿里的双十一,双十二等,所以越来越活跃,但是别去管那么多,消息中间件都差不多,懂一个了去学其他的也都一样
大家想一想在你们平时开发的系统里面有没有这种情况,就是你们系统会调用到第三方接口服务,而且这个接口服务是在你流程里面进行同步调用的,这个时候你们的系统性能是直接和第三方接口服务挂钩的,也就是第三方接口服务性能的好坏直接影响到你自己的系统。
RocketMQ 是阿里巴巴在2012年开源的分布式消息中间件,目前已经捐赠给 Apache 软件基金会,并于2017年9月25日成为 Apache 的顶级项目。作为经历过多次阿里巴巴双十一的洗礼并有稳定出色表现的国产中间件,以其高性能、低延时和高可靠等特性近年来已经也被越来越多的企业使用。
消息(Message)是指在应用间传送的数据(比如字符串,json等),消息队列(Message Queue,简称MQ)是一个古老的计算机术语,UNIX进程间通信就用到了消息队列技术:一个进程把数据写入某个特定队列中,其它队列读取特定队列中的数据实现异步通信。而现在我们所说的MQ通常指的是独立的消息队列中间件,利用高效可靠的消息传递机制进行与平台无关的数据交流,并基于数据通信来进行分布式系统的集成。
一项技术的产生必然是为了解决问题而生,了解了一项技术解决的问题,就能够很轻松的理解这项技术的设计根本,从而更好地理解与使用这项技术。 消息中间件和RPC从根本上来说都是为了解决分布式系统的服务间通信问题,我们的服务从最初的单体应用发展到SOA架构到现在的微服务架构,必不可少的就是服务间通信,但从最初的设想,服务间通信仅仅就是一次请求响应调用而已,为什么发展出如此多的消息中间件与RPC技术,我们是否真的需要学习这么多的消息中间件技术? 答案是肯定的,接下来我们将分析我们为什么要了解及使用如此多的服务间通信技术,以及他们究竟都解决了哪些问题,在什么场景下他们是必不可少的。
今天准备谈下微服务架构下各个微服务间如何解耦,以及对于已经紧耦合的微服务如何进行重构。在谈这个内容前,可以先看下我前两天发布的微服务模块和粒度如何划分才更加合理的一篇文章,这篇文章对于微服务拆分有比较详细的描述。
消息队列(Message Queue,简称 MQ)。是基于队列与消息传递技术,在网络环境中为应用系统提供同步或异步、可靠的消息传输的支撑性软件系统。
本文介绍了腾讯云软件架构与应用的六大技术主题分享,包括腾讯云无服务器云函数 SCF、云端容器、X-P2P 直播加速、微信小程序、知乎容器化以及腾讯消息队列。通过这些主题分享,可以深入了解腾讯云在软件架构方面的实践和技术细节,为开发者提供丰富的技术干货和最佳实践。
Mesh 模式的引入是实现应用云原生的关键路径,蚂蚁集团已在内部实现大规模落地。随着 Message、DB、Cache Mesh 等更多的中间件能力的下沉,从 Mesh 演进而来的应用运行时将是中间件技术的未来形态。今年 4 月,蚂蚁集团高级技术专家章耿(余淮)分享了题为《蚂蚁云原生应用运行时的探索和实践》的演讲,本文根据此次演讲整理而成。 蚂蚁集团 Mesh 化介绍 蚂蚁是一家技术和创新驱动的公司,从最早淘宝里的一个支付应用,到现在服务 全球十二亿用户的大型公司,蚂蚁的技术架构演进大概会分为如下几个阶
腾讯数字生态大会亮点纷呈,定档9月7-8日,腾讯云微服务与消息队列专场将为大家带来一场与中间件有关的视觉盛宴!
消息队列中间件(简称消息中间件)是指利用高效可靠的消息传递机制进行与平台无关的数据交流,并基于数据通信来进行分布式系统的集成。通过提供消息传递和消息排队模型,它可以在分布式环境下提供应用解耦、弹性伸缩、冗余存储、流量削峰、异步通信、数据同步等等功能,其作为分布式系统架构中的一个重要组件,有着举足轻重的地位。
在IM这种讲究高并发、高消息吞吐的互联网场景下,MQ消息中间件是个很重要的基础设施,它在IM系统的服务端架构中担当消息中转、消息削峰、消息交换异步化等等角色,当然MQ消息中间件的作用远不止于此,它的价值不仅仅存在于技术上,更重要的是改变了以往同步处理消息的思路(比如进行IM消息历史存储时,传统的信息系统作法可能是收到一条消息就马上同步存入数据库,这种作法在小并发量的情况下可以很好的工作,但互联网大并发环境下就是灾难)。
来源:https://www.jianshu.com/p/8f7ebbcbeee5
导读:余额宝开启了划时代的意义,开启了全民理财时代。上个月微博商业产品部联合天弘基金等金融技术团队策划了首届互联网金融系统沙龙,围绕在互联网金融过程中碰到技术架构问题与业界展开分享及交流。本文是陈雨在沙龙上的演讲,授权高可用架构首发。
作者简介:刘韬,在中间件领域有多年的实战经验,精通 WebLogic server,Websphere,Jboss,Tomcat,tuxedo,mq,osb等多种中间件技术,对中间件的故障处理、性能优化、升级迁移等需求积累了丰富经验。
周末和朋友一起自驾去海边玩,去过杨梅坑的应该都知道,从杨梅坑到鹿嘴山庄需要坐快艇过去。
中间件,英文名称为Middleware,是一种应用于分布式系统的基础软件。从纵向层次来看,中间件位于各类应用/服务与操作系统/数据库系统以及其他系统软件之间,主要解决分布式环境下数据传输、数据访问、应用调度、系统构建和系统集成、流程管理等问题,是分布式环境下支撑应用开发、运行和集成的平台,能够实现系统之间的互联互通,帮助用户高效开发应用软件。
分布式系统中,我们广泛运用消息中间件进行系统间的数据交换,便于异步解耦。现在开源的消息中间件有很多,前段时间我们自家的产品 RocketMQ (MetaQ的内核) 也顺利开源,得到大家的关注。
分布式消息队列中间件是是大型分布式系统不可缺少的中间件,通过消息队列,应用程序可以在不知道彼此位置的情况下独立处理消息,或者在处理消息前不需要等待接收此消息。所以消息队列主要解决应用耦合、异步消息、流量削锋等问题,实现高性能、高可用、可伸缩和最终一致性架构。消息队列已经逐渐成为企业应用系统内部通信的核心手段,当前使用较多的消息队列有 RabbitMQ、RocketMQ、ActiveMQ、Kafka、ZeroMQ、MetaMQ 等,而部分数据库如 Redis、MySQL 以及 PhxSQL 也可实现消息队列的功能。
本文梳理笔者的MQ知识,从消息中间件的基础知识讲起,在有了基础知识后,对市面上各主流的消息中间件进行详细的解析,包括 RabbitMQ、RocketMQ、Kafka、Pulsar,最后再横向对比这几款主流的消息中间件。
在今天双 11 这个万众狂欢的节日,对于阿里员工来说,每个环节都将面临前所未有的考验,特别是技术环节,今天我们就一起来探讨下双11天量交易额背后的技术。
秒杀是电商业务里的标志性事件,这样的典型高并发场景会遇见什么样的挑战呢,然后又是如何来解决的呢? 秒杀活动场景 淘宝双11秒杀场景,大量的用户短时间内涌入,瞬间流量巨大(高并发),比如:1000万人同
每年“双11”都是一场电商盛会,消费者狂欢日。今年双11的意义尤为重大,它已经发展成为全世界电商和消费者都参与进来的盛宴。而对技术人员来说,双十一无疑已经成为一场大考,考量的角度是整体架构、基础中间件、运维工具、人员等。
为了更好地服务使用微服务架构进行软件设计的企业,腾讯云中间件产品基于腾讯在微服务、消息队列领域多年的技术积累,提供了功能强大、兼容并包、生态开放的云原生分布式微服务解决方案和消息队列服务。全方位打造出6款优秀产品:微服务平台 TSF、消息队列CKafka、金融级消息队列TDMQ、微服务观测平台 TSW、微服务引擎TSE、分布式事务DTF,全面布局云原生领域产品矩阵。
MQ是把消息和队列结合起来,称为消息队列(MessageQueue),是基础数据结构中“先进先出”的一种数据结构。指把要
Mesh 模式的引入是实现应用云原生的关键路径,蚂蚁集团已在内部实现大规模落地。随着 Message、DB、Cache Mesh 等更多的中间件能力的下沉,从 Mesh 演进而来的应用运行时将是中间件技术的未来形态。应用运行时旨在帮助开发人员快速的构建云原生应用,帮助应用和基础设施进一步解耦,而应用运行时最核心是 API 标准,期望社区一起共建。
伴随着互联网和云计算技术发展的不断深入,越来越多的互联网公司早已摒弃了传统的集中式架构或分布式架构,转而使用对「高并发、高性能、高可用」有更好保证效果的微服务架构模式。 为了更好地服务使用微服务架构进行软件设计的企业,腾讯云中间件产品基于腾讯在微服务、消息队列领域多年的技术积累,提供了功能强大、兼容并包、生态开放的云原生分布式微服务解决方案和消息队列服务。全方位打造出7款优秀产品:微服务平台 TSF、消息队列CKafka、金融级消息队列TDMQ、微服务观测平台 TSW、弹性微服务 TEM、微服务引擎T
本系列文章将整理到我在GitHub上的《Java面试指南》仓库,更多精彩内容请到我的仓库里查看
Serverless 与消息队列生态结合 消息队列 MQ 是 Serverless 事件驱动场景下必要的解耦中间件也是云函数最重要的触发源之一。TDMQ 是一款基于 Apache 顶级开源项目 Pulsar 自研的金融级分布式消息中间件。其计算与存储分离的架构设计,使得它具备极好的云原生和 Serverless 特性,用户按量使用,无需关心底层资源。它拥有原生 Java 、 C++、Python、Go 等多种 API,同时支持 Kafka 协议以及 HTTP 协议方式接入,可为分布式应用系统提供
每年“双 11”都是一场电商盛会,消费者狂欢日。今年双 11 的意义尤为重大,它已经发展成为全世界电商和消费者都参与进来的盛宴。而对技术人员来说,双十一无疑已经成为一场大考,考量的角度是整体架构、基础中间件、运维工具、人员等。
导读 伴随着互联网和云计算技术发展的不断深入,越来越多的互联网公司早已摒弃了传统的集中式架构或分布式架构,转而使用对「高并发、高性能、高可用」有更好保证效果的微服务架构模式。 为了更好地服务使用微服务架构进行软件设计的企业,腾讯云中间件产品基于腾讯在微服务、消息队列领域多年的技术积累,提供了功能强大、兼容并包、生态开放的云原生分布式微服务解决方案和消息队列服务。全方位打造出7款优秀产品:微服务平台 TSF、消息队列 CKafka、金融级消息队列 TDMQ、微服务观测平台 TSW、弹性微服务 T
前面介绍了分布式锁以及如何使用Redis实现分布式锁,接下来介绍分布式系统中另外一个非常重要的组件:消息队列。
RocketMQ是目前主流的消息中间件之一,并且自身就支持分布式功能。最初由阿里巴巴团队开发,并且经历过双十一等海量消息场景的考验,后捐赠给Apache开源基金会,这也是为什么我们经常听说RocketMQ是阿里巴巴的消息中间件,项目却在Apache的顶级项目中。
1、前言 在IM这种讲究高并发、高消息吞吐的互联网场景下,MQ消息中间件是个很重要的基础设施,它在IM系统的服务端架构中担当消息中转、消息削峰、消息交换异步化等等角色,当然MQ消息中间件的作用远不止
消息队列在互联网技术存储方面使用如此广泛,几乎所有的后端技术面试官都要在消息队列的使用和原理方面对小伙伴们进行360°的刁难。
现在是资源共享的时代,同样也是知识分享的时代,如果你觉得本文能学到知识,请把知识与别人分享。
Nacos官方文档: https://nacos.io/zh-cn/docs/what-is-nacos.html
导语 2021年12月1日,腾讯云分布式消息队列 TDMQ Pulsar 版正式商业化。 金融级分布式消息中间件 消息队列 TDMQ Pulsar 版是一款基于 Apache Pulsar 自研的金融级分布式消息中间件,具备高一致、高可靠、高并发特性,可为分布式应用系统提供异步解耦和削峰填谷的能力,同时也具备互联网应用所需的海量消息堆积、高吞吐、可靠重试等特性。TDMQ Pulsar 版是一款经历了3年千亿级交易流水考验的消息队列,也是目前真正做到计算与存储分离的云消息队列,从架构上实现了云原
ActiveMQ 是Apache出品,最流行的,能力强劲的开源消息总线。ActiveMQ 是一个完全支持JMS1.1和J2EE 1.4规范的 JMS Provider实现
作者 | 朱小厮的博客 来源 | https://mp.weixin.qq.com/s/XL7F03HFzRX81Zllf4-1Ww 架构以及我理解中架构的本质 在开始谈我对架构本质的理解之前,先谈谈自己的个人见解,千万级规模的网站感觉数量级是非常大的,对这个数量级我们战略上要重视它 ,战术上又要藐视它。 先举个例子感受一下千万级到底是什么数量级?现在的优步(Uber),从媒体公布的信息看,它每天接单量平均在百万左右,假如每天有10个小时的服务时间,平均QPS只有30左右。 对于一个后台服务器,单机的平均
导语 | 消息队列是分布式系统中重要的中间件,在高性能、高可用、低耦合等系统架构中扮演着重要作用。本文对Kafka、Pulsar、RocketMQ、RabbitMQ、NSQ这几个消息队列组件进行了一些调研,并整理了相关资料,为业务对MQ中间件选型提供参考。 一、概述 消息队列是分布式系统中重要的中间件,在高性能、高可用、低耦合等系统架构中扮演着重要作用。分布式系统可以借助消息队列的能力,轻松实现以下功能: 解耦,将一个流程的上游和下游拆开,上游专注生产消息,下游专注处理消息。 广播,一个上游生产的消息轻松被
有一个大的系统由A系统和B系统组成,A系统先将数据发送给MQ,然后MQ将数据发送给B系统,实现A系统和B系统之间的数据传输。A系统生产数据,称为生产者。B系统消费数据,称为消费者。MQ为存储数据的消息中间件。
本文首先引出消息中间件通常需要解决哪些问题,在解决这些问题当中会遇到什么困难,Apache RocketMQ作为阿里开源的一款高性能、高吞吐量的分布式消息中间件否可以解决,规范中如何定义这些问题。然后本文将介绍RocketMQ的架构设计,以期让读者快速了解RocketMQ。 消息中间件需要解决哪些问题? Publish/Subscribe 发布订阅是消息中间件的最基本功能,也是相对于传统RPC通信而言。在此不再详述。 Message Priority 规范中描述的优先级是指在一个消息队列中,每条消息都有不同
领取专属 10元无门槛券
手把手带您无忧上云