首页
学习
活动
专区
圈层
工具
发布

中间件MQ是什么?

中间件 MQ(消息队列,Message Queue) 是一种分布式通信中间件,核心功能是异步传递消息,解决分布式系统中 “服务间解耦、流量削峰、可靠通信” 的问题。...MQ 方案:订单服务只负责发一条 “订单创建成功” 的消息到 MQ,库存、优惠券、短信服务各自从 MQ 订阅消息,独立处理。...流量削峰(应对突发流量)场景:双 11 零点,10 万 /s 的抢购请求直接打数据库,瞬间压垮。...对比:无 MQ 时,数据库连接池被打爆,整个系统雪崩;有 MQ 时,流量波峰被 “削平”,系统平稳扛过峰值。3....,适合大数据场景RabbitMQ金融级可靠消息、精准路由支持事务、死信队列、ACK 机制吞吐量相对低(万级 /s)RocketMQ阿里系电商、分布式事务分布式事务、消息重试策略社区生态不如 Kafka

1.9K10

腾讯专有云TCE 高可用技术白皮书

) #缓存数据库CRedis(二级类目:CloudDB for Redis) #流式消息引擎TDMQ-Kafka(二级类目:TDMQ for CKafka) #消息队列TDMQ-Pulsar...#分布式存储平台(二级类目:三副本冗余存储) #快照备份系统(二级类目:跨区域数据备份) 第二章:报告背景和目标 报告聚焦政企、金融等关键行业客户对业务连续性的核心诉求,以RTO(业务恢复时间...(双AZ、双AZ+仲裁、三AZ、双Region)的量化高可用方案,实现单AZ故障RTO≈0/RPO=0、地域级故障RPO分钟级,支撑金融、传媒等行业客户数智化转型。...•核心分析模型:“八横四纵”高可用体系(四纵:硬件组件级、节点级、机柜级、AZ级故障容忍;八横:基础设施、网络连接、计算调度、存储、中间件与数据库、微服务框架、应用、管控底座高可用能力)。...•国际性与技术领先:TCE高可用架构获金融客户验证,跻身全球分布式云平台领导者象限;自研产品如TDSQL分布式数据库(强一致跨AZ同步)、TDMQ-Pulsar金融级消息中间件(跨AZ强一致)、CRedis

85810
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    面试官:聊聊MQ?我从可靠性聊到幂等性,从Kafka聊到RocketMQ,他沉默了

    主流程只负责创建用户(毫秒级),然后发送一条消息到MQ,就可以立刻返回给用户。后台的邮件服务和优惠券服务慢慢消费消息即可。用户的感受就是“秒注册”,体验瞬间拉满! 这是MQ最硬核的应用场景。...选型场景:金融级核心业务、电商订单、需要事务和定时任务的复杂场景。  RabbitMQ:基于AMQP协议,是最经典的“消息中间件”。 优点:功能完善,社区活跃,多语言支持最好。...单条消息的延迟极低。 缺点:吞吐量相比前两者稍逊一筹(万到十万级),Erlang语言栈也让二次开发和深度运维有一定门槛。...优点:拥有无与比拟的吞吐能力(轻松达到百万级),核心是基于磁盘的持久化日志,支持消息回溯。天然为分布式和高可用设计。 缺点:核心功能相对纯粹,不直接支持延迟消息和事务消息(需要变通实现)。...我的选型心法: 业务核心、金融相关选RocketMQ;路由复杂、中小企业用RabbitMQ;日志数据、流式计算上Kafka! 总结 消息队列是现代分布式架构的“中流砥柱”。

    50010

    祝贺!中原消金、重庆农商行荣获信通院年度优秀案例

    2024年12月20日,由中国信息通信研究院(简称“中国信通院”)在京举办了“央国企上云高质量发展沙龙”主题大会。...中原消金 中原消金同城双活项目 中原消金基于腾讯专有云TCE全栈云解决方案,构建同城双活(含仲裁)高可用生产云平台,为全量业务提供数据中心级云平台IaaS、PaaS服务的高可用容灾切换能力。...重庆农商行 重庆农商行金融云平台 重庆农商行基于腾讯专有云PaaS平台TCS,建设重庆农商行两地三中心金融级容灾云原生PaaS云平台,打造一体化、分布式云原生PaaS平台,统一技术标准和接入规范,提升研发效率...通过腾讯专有云PaaS平台TCS提供微服务框架TSF和容器服务,结合腾讯云消息中间件TDMQ及Ckafka和缓存中间件Credis等产品,构成重庆农商金融级云原生技术底座,规范行内技术标准和接入规范,构建一体化的监控运维体系...目前腾讯专有云已经在金融、政务、零售、交通、出行、地产、制造等众多行业取得大量成功案例落地,在业界获得了广泛的认可。

    90510

    选 Redis Stream 还是传统 MQ?——技术选型与场景适配指南

    在分布式系统架构中,消息队列是解耦服务、削峰填谷的核心组件。...一、架构设计差异:轻量级 vs 企业级Redis Stream 的极简哲学Redis Stream 基于内存存储,采用 Radix Tree 结构组织消息,核心设计包含三个要素:消息日志:按时间顺序追加的持久化记录...传统 MQ 的分布式基因专业 MQ 中间件通过集群架构实现高可用:Kafka:基于 Partition 的水平扩展,单 Topic 支持百万级 TPSRabbitMQ:支持 AMQP 协议的灵活路由(Direct.../Topic/Fanout 交换器)RocketMQ:阿里双 11 验证的金融级消息系统,提供事务消息、定时消息等特性典型场景:电商订单系统使用 RocketMQ 事务消息,确保订单创建与库存扣减的原子性...三、选型决策框架优先选择 Redis Stream 的场景资源受限环境:嵌入式系统或边缘计算节点,无法部署复杂中间件简单解耦需求:通知类消息(如邮件发送、短信推送)实时性敏感:金融交易系统中的实时对账,

    99210

    中间件之消息队列篇

    写在前面 这是中间件之消息队列篇,涉及知识包括,可用于八股文复习宝典,也可用于加深知识,建议大家以闯关的模式进行阅读,然后根据内容查漏补缺,欢迎提问相互学习交流。...中间件之消息队列篇概览 常用消息队列有哪些,引入队列的优缺点 消息队列的发送方式有哪几种,使用场景分别是怎样的?...阿里开源的⼀款的消息中间件, 纯Java开发,具有高吞吐量、高可用性、适合大规模分布式系统应⽤的特点, 性能强劲(零拷⻉技术),支持海量堆积, 支持指定次数和时间间隔的失败消息重发,⽀持consumer...端tag过滤、延迟消息用等,在阿⾥内部进行大规模使用,适合在电商,互联网金融等领域使⽤ 缺点:成熟的资料相对不多,社区处于新生状态但是热度高 消息队列的发送方式有哪几种,使用场景分别是怎样的?...应用场景(没有绝对,都看业务场景而定):重要通知邮件、报名短信通知、营销短信系统等 ASYNC 异步发送 应用场景:对RT时间敏感,可以支持更高的并发,回调成功触发相对应的业务,比如注册成功后通知优惠卷系统发放优惠券

    62310

    2025年Web中间件技术全景深度对比:国产化替代与智能化演进分析

    1 引言:中间件的定义与2025年技术背景Web中间件作为现代分布式系统的核心基础设施,在操作系统与应用软件之间构建了关键的连接层,有效屏蔽底层技术复杂性,为分布式应用提供标准化接口和公共服务(如通信、...其核心优势体现在:事务处理能力(支持XA分布式事务)、企业级负载均衡(动态集群扩展)和全球运维支持体系。...消息中间件时延:IBM MQ在1KB小消息场景下端到端延迟为0.8ms,仍为行业标杆。...7 结论与建议7.1 选型决策矩阵基于技术评估,提出分场景选型建议:金融核心系统:优先选择东方通TongWeb(事务一致性)或华为FusionSphere(分布式架构),满足高可靠与国密合规要求。...混合架构过渡:采用并行双栈模式,国产中间件与国际产品共存,通过流量灰度逐步切换。生态协同:优先选择已适配本地芯片/OS的中间件,如麒麟OS+飞腾芯片环境优选TongWeb。

    4.3K11

    腾讯云TDSQL入选“鑫智奖·2024金融数据智能”专家推荐 TOP 10 优秀解决方案

    为展示金融企业数据管理和数据平台智能化转型成果,分享大数据和人工智能在风控、营销、产品、运营等场景的落地实践,探讨“金融科技+数据智能”的创新应用和未来发展,金科创新社主办了“鑫智奖·第六届金融数据智能优秀解决方案评选...TDSQL作为腾讯自主研发的一款金融级分布式数据库产品,目前已经被4000多家来自金融、公共服务和电信等垂直行业客户采用,服务超过30家金融机构完成核心系统替换,中国十大银行中的七家都应用了TDSQL。...以国有大行为例,中国农业银行已基于TDSQL投产客户信息、信用卡、个人负债等新一代分布式核心系统。...目前,TDSQL也已经完成了包括国产芯片、服务器、操作系统、中间件等全栈国产基础软件的适配,助力企业更加高效平滑地完成数字化转型。...﹀ ﹀ ﹀ -- 更多精彩 -- 腾讯云数据库亮相 DTC 2024,“国产化+智能化”双赛道驱动未来创新 ↓↓点击阅读原文,了解更多优惠

    78910

    腾讯专有云 TCE 高可用技术白皮书

    报告针对金融、传媒等对业务连续性有严苛要求的行业,通过“八横四纵”的高可用体系架构,详细解析了从底层基础设施到上层应用的全栈容灾方案,致力于帮助企业在数字化转型中实现RTO≈0(业务恢复时间目标)和RPO...第五章:核心观点 1. “3+3+2”仲裁部署架构是解决金融级高可用的核心方案 针对传统双AZ部署在故障切换时需要人工介入导致RTO过长的问题,TCE提出了“双AZ+仲裁区”模式。...• 中间件:TDMQ-Pulsar采用存算分离架构,支持跨AZ部署,极端情况下可保证消息零丢失。 • 计算层:支持CVM热迁移,在宿主机轻度故障时,迁移过程业务感知RTO几乎为0。 3....在某头部农商银行案例中,TCE成功构建了国内首个同城三AZ(双活+仲裁)金融云平台,将业务恢复时间(RTO)压缩至2分钟级别,同时确保核心数据RPO=0,树立了金融分布式云架构的新标杆。 3....特别是其自研的TDSQL数据库和TDMQ消息队列,能够原生支持跨AZ的强一致性数据同步,使得企业无需修改应用代码即可获得金融级的高可用保障。 4.

    85410

    信创产品

    技术架构 支持集中式(DM8)与分布式(DMTDD)双引擎,适应不同场景。...2.分布式能力(DMTDD) ·全透明分片:自动拆分数据到多个节点,应用无感知。 ·多活容灾:支持同城双活/异地多活,RTO金融级可靠性)。...3.3 OceanBase OceanBase(蚂蚁集团)是由阿里巴巴/蚂蚁集团自主研发的原生分布式关系数据库,定位为“全球唯一在事务处理和数据分析双领域刷新TPC-C/TPC-H世界纪录”的金融级数据库...东方通TongWeb、金蝶Apusic 支撑Java/Python等应用运行环境 消息中间件 IBM MQ 东方通TongLINK/Q、普元Primeton 跨系统异步通信、削峰填谷 分布式事务中间件...o特性:集成Kubernetes管理,秒级弹性伸缩 o性能:TPC-C测试超WebLogic 30% 2.Apusic MQ:金融级消息中间件 o特性:支持分布式事务消息,100%兼容IBM MQ协议

    5.5K10

    深度解析Apache RocketMQ:从核心原理到实战应用

    Apache RocketMQ作为一款源自阿里、捐献给Apache基金会的开源消息中间件,凭借其金融级可靠性、丰富的功能特性及优秀的性能表现,已成为互联网、金融、电商等领域的主流选择。...其设计目标是打造一款“金融级可靠、高吞吐、低延迟、功能丰富”的消息中间件,既满足普通业务的异步通信需求,也能支撑金融交易、电商订单等对一致性要求极高的核心场景。...Master-Slave模式(同步双写):每个Master配置一个Slave,数据同步双写,需主备均写入成功才返回发送成功,适用于金融级核心场景。...RabbitMQ 核心定位 金融级消息中间件,平衡可靠与性能 分布式流处理平台,高吞吐优先 企业级消息代理,灵活路由优先 吞吐量 高(接近Kafka,十万级TPS) 极高(百万级TPS,大数据首选)...九、总结 Apache RocketMQ凭借其金融级可靠性、丰富的高级特性、简洁的架构设计及云原生演进能力,已成为分布式系统中核心的消息中间件选择。

    1.1K10

    CKafka系列学习文章 - 对比RabbitMQ、RocketMQ、TDMQ-CMQ、kafka和Ckafka(二)

    导语:上一章我们聊到了:什么是消息队列,为什么要用消息队列,有那些消息队列?下来我们聊聊什么样的消息队列适合我们公司。 在技术领域,从来都没有最好的工具,只有最合适自己公司的工具。...万QPS 读写12万QPS 同步算法 ISR(Replica) ISR(Replica) GM 同步双写 Raft 可用性 可用性很高,主从自动切换,腾讯云消息服务承诺可用性99.95% 可用性高,主从自动切换...,故障情况极少发生 可靠性低;Broker 只有异步刷盘机制并主备只有异步复制,可能会导致丢失部分消息 可靠性高;发送消息时,指定消息为持久化就会写入到磁盘 可靠性高;Broker 同步双写,主备都写成功才返回成功...Ckafka和CMQ都作为消息中间件都支持集群部署、高吞吐量、强一致等特性,那这两款产品最主要的区别是什么,分别更适合哪些场景使用?...for CMQ,简称 TDMQ CMQ 版)是一种分布式消息队列服务,它具有可靠的、基于消息的异步通信机制,能够将分布式部署的不同应用(或同一应用的不同组件)中的信息传递,存储在可靠有效的消息队列中,防止消息丢失

    6.2K74

    实战分享:activemq 在灾备双活建设中的研究

    作者简介:刘韬,在中间件领域有多年的实战经验,精通 WebLogic server,Websphere,Jboss,Tomcat,tuxedo,mq,osb等多种中间件技术,对中间件的故障处理、性能优化...由于 activemq 承担着消息服务的重要角色,在这篇文章中我们重点讲述在灾备双活建设中 activemq 设计、规划、部署。...目标 灾备双活建设最完美的架构设计:在同城、异地 2 个数据中心,在最极端情况下,例如单数据中心垮掉情况下,保证消息零丢失,支持 7*24 服务要求。...3) 服务影响 正常情况下,对于客户端的连接平均分布在两个机房中,出现单个机房故障后,连接在故障机房中的连接会断开,正在执行未提交的事务将会回滚,对于发起的新连接不受任何影响,依然可以通过配置的负载策略访问正常机房中的消息中间件服务...● 保证在各种灾难场景都实现了 7*24 和消息零丢失吗? 是的,只要保证一个 cluster 下的 2 个节点可用的情况下,不管在任何一种组合下,jms 服务都是可用的。

    2.5K10

    RocketMQ实战—8.营销系统业务和方案介绍

    9.电商营销系统的工程结构10.电商营销系统的营销技术挑战11.少量数据测试版技术方案说明12.第一版全量推送方案的缺陷13.第一版全量发优惠券方案的缺陷14.推送异步化以及千万用户分片15.千万级用户分布式推送方案...营销系统的基础技术架构总结:系统与系统间通过RPC进行调用,Nacos是注册中心,Dubbo是RPC框架,RocketMQ是消息中间件进行消息中转,分布式定时调度任务使用的是XXLJob。...15.千万级用户分布式推送方案(1)根据千万级的用户产生万级的分片任务消息(2)对万级的分片任务消息进行合并批量发送(3)创建促销活动接口异步化处理提升体验(4)万级的分片任务消息分布式推送完成消费(1...从而实现如下千万级用户惰性发券的效果:当用户使用电商APP完成账号系统的登录后,就会发布一条某用户已经登录的消息到RocketMQ消息中间件集群。...营销系统会从RocketMQ中消费某用户已经登录的消息,去Redis分布式缓存集群里查询是否有该用户的发券记录。如果有就不需要再发券了,如果没有就需要向该用户发券。

    96500

    好的,这份文档是关于腾讯专有云TCE(Tencent Cloud Enterprise)的高可用(High Availability, HA)解决方案,内容非常全面和深入。它详细阐述了TCE如何通过其架构设计、网络、计算、存储、数据层和应用层的各种机制,确保业务的连续性和数据的可靠性。

    双AZ部署 (标准模式):实现同城双活(Active/Active或Active/Standby)。主要组件(CLB, VPCGW, 中间件, 数据库)跨AZ部署保证高可用。...PaaS层高可用设计: 消息队列与流式数据引擎: TDMQ-Pulsar (BookKeeper模式):Broker和Bookie均跨AZ分布式部署。多个副本成功写入才返回,强一致(RPO=0)。...实战案例: 展示了TCE的高可用方案在金融(头部农商行双活+仲裁区实现秒级切换,财险/股份制银行双Region/三AZ)、媒体(国家级5G平台)等关键行业的落地效果。...分布式弹性:基于分布式架构的组件(存储、数据库、中间件)在硬件、节点、机柜、AZ各级别故障下自动恢复和重建。 简化运维: PaaS服务自带跨AZ高可用性,用户无需关注中间件/数据库层面的高可用配置。...特别是其对数据库(TDSQL)强一致复制和支撑集群(ZK/etcd)仲裁机制的设计,是TCE实现“分钟级切换,零数据丢失”金融级高可用目标的核心技术支柱。

    90710

    探索 RocketMQ:企业级消息中间件的选择与应用

    探索 RocketMQ:企业级消息中间件的选择与应用一、关于RocketMQRocketMQ 是一个高性能、高可靠、可扩展的分布式消息中间件,它是由阿里巴巴开发并贡献给 Apache 软件基金会的一个开源项目...二、发展消息队列属于最经典的中间件之一,已经有 30 多年的历史,其发展历程可以总结为几个阶段:第一阶段,2000 年之前。...由于传统的消息队列无法承受亿级用户的访问流量和海量数据传输,诞生了互联网消息中间件,核心能力是全面采用分布式架构、具备很强的横向扩展能力,开源典型代表有 Kafka、RocketMQ,闭源的还有淘宝 Notify...2012年:阿里巴巴开源其自研的第三代分布式消息中间件——RocketMQ。经过几年的技术打磨,阿里称基于RocketMQ技术,目前双十一当天消息容量可达到万亿级。...五、应用场景以下是一些典型的 RocketMQ 应用场景:金融行业交易消息系统:金融交易系统对消息的可靠性、事务性和高吞吐量有严格要求。

    1.3K10

    余额宝技术架构及演进

    中间层就是采用小型机,其中 KCXP 和 KCBP 是金证公司的消息中间件和业务中间件。往上前端是前置解析是用的 WebLogic,负载均衡用的硬件负载均衡。 ?...由于余额宝对接是支付宝,支付宝有庞大的用户群,在用户规模上要达到千万级,这是当时对需求的定位。...开篇也提到了金融系统数据安全是重中之重,所以这块我们也会有相关的数据安全方面的管理。 ? 二期架构的问题 二期架构解决很多问题,但并不是尽善尽美,总结一下还是有几个可以提高的点: 耦合。...比如对于在线交易,可以采用经过阿里支付宝验证过的 OB,专门用于解决金融级的分布式关系数据库的解决方案; 对于批量结算,可以继续沿用多年来在余额宝已经用的很娴熟的 RDS 集群。...异步调用 异步调用主要靠消息中间件。金融系统对消息中间件的可靠性要求非常高,这块我们还是沿用传统思路,并不想采用开源解决方案去填那些坑,更多考虑采用成熟金融级消息中间件来做这件事情。 ?

    1.9K50

    【金猿信创展】恒生电子——全栈式信创解决方案,助力金融信创行稳致远

    核心技术及产品突破 1、分布式微服务中间件Light-JRES Light-JRES是面向金融领域的企业级应用快速开发平台和多系统融合平台,既减轻对基础设施的依赖,又从业务上具备可复用、可扩展、高安全的特性...JRES中间件是实现对通用技术组件的服务化,譬如:分布式缓存、消息队列、分布式事务等等,通过应用共享以及多租户隔离实现技术组件最大程度复用,降低系统的资源消耗让技术组件和业务公共模块下沉,从而做到支持业务的快速创新和迭代...2、分布式低延时中间件Light-LDP Light-LDP是具有集低延时、分布式解耦、灵活开放等特点的开发平台,支持金融机构微秒级业务应用,主要面向券商自营、券商资管以及券商机构业务的策略交易、算法交易...3、金融级分布式数据库LightDB LightDB是一款支持在线事务处理与在线分析处理的融合型分布式数据库,具备SQL兼容性高、容量弹性伸缩、金融级高可用、现代硬件融合、纯内存计算等核心特性,适用于对可用性...LightDB具有“更快、更稳、更懂金融”的企业级特性:采用单机分布式一体化架构,同时支持集中式和分布式部署,在长时间高负载压测下抖动很低;性能方面,在同机房高可用信创软硬件下、单节点进行证券典型订单TPS

    2K30

    大型服务端开发的反模式技巧

    后果是,用户在促销活动中抢到的优惠券,没有发给用户。更严重的后果是,一个订单在送往仓库系统的途中消失了。 我推荐的做法是把任务投递到消息中间件,让它分发给消息消费者来执行(消费者可能是发送者自身)。...消息中间件可以要求消费者在完成任务后通知中间件,否则就重新分发消息,直到收到任务已完成的通知。...更重要的是,消息中间件有持久化功能,即使宕机也不丢消息,而且可以长期不升级、不重启。消息中间件的缺点是,对失败情况的处理难以定制化——你可能想定制重试间隔、重试次数等细节。...单一的缓存模式 分布式缓存是由缓存中间件组成的集群,一致性较好,缓存的很快会同步到所有副本。但是毕竟要经由网络,延迟为亚毫秒级,而且负载聚集到中间件,可能因网络拥塞或机器负载高而出现性能波动。...分布式缓存加锁 有的系统步入精耕细作时代后,想避免一种情况——缓存作废时,很多应用实例同时访问数据库,加重负载,而且浪费资源。于是有了给缓存加锁的方案。

    1.2K60

    十分钟入门RocketMQ

    本文首先引出消息中间件通常需要解决哪些问题,在解决这些问题当中会遇到什么困难,Apache RocketMQ作为阿里开源的一款高性能、高吞吐量的分布式消息中间件否可以解决,规范中如何定义这些问题。...这里要确保一点,业务上是否确实需要这种严格的优先级,如果将优先级压缩成几个,对业务的影响有多大? Message Order 消息有序指的是一类消息消费时,能按照发送的顺序来消费。...通过同步双写技术可以完全避免单点,同步双写势必会影响性能,适合对消息可靠性要求极高的场合,例如与Money相关的应用。 RocketMQ从3.0版本开始支持同步双写。...消息堆积后,访问堆积在磁盘的消息时,吞吐量有多大? 分布式事务 已知的几个分布式事务规范,如XA,JTA等。其中XA规范被各大数据库厂商广泛支持,如Oracle,Mysql等。...上图是一个典型的消息中间件收发消息的模型,RocketMQ也是这样的设计,简单说来,RocketMQ具有以下特点: 是一个队列模型的消息中间件,具有高性能、高可靠、高实时、分布式特点。

    2.4K70
    领券