双十一金融级分布消息中间件推荐 - 腾讯云开发者社区

文章/答案/技术大牛

发布

腾讯开源万亿级分布式消息中间件 TubeMQ

beMQ 是腾讯在 2013 年自研的分布式消息中间件系统，专注服务大数据场景下海量数据的高性能存储和传输，经过近 7 年上万亿的海量数据沉淀，目前日均接入量超过 25 万亿条。...变更及查询实现了完整的自动化闭环管理，减轻了系统维护的复杂度；服务器侧消费负载均衡 Tube MQ 采用的是服务侧负载均衡的方案，而不是客户端侧操作，提升系统的管控能力同时简化客户端实现，更便于均衡算法升级；系统行级锁操作...对于 Broker 消息读写中存在中间状态的并发操作采用行级锁，避免重复问题； Offset 管理调整 Offset 由各个 Broker 独自管理，ZK 只作数据持久化存储用（最初考虑完全去掉 ZK...依赖，考虑到后续的功能扩展就暂时保留）；消息读取机制的改进 Tube MQ 采用的是消息随机读取模式, 同时为了降低消息时延又增加了内存缓存读写, 对于带 SSD 设备的机器, 增加消息滞后转 SSD...消费时延分级保证、消费限流控制，以及数据拉取频率控制等；系统安全管控根据业务不同的数据服务需要，以及系统运维安全的考虑，Tube MQ 系统增加了 TLS 传输层加密管道，生产和消费服务的认证、授权，以及针对分布式访问控制的访问令牌管理

2.3K6 0

腾讯万亿级分布式消息中间件TubeMQ正式开源

TubeMQ是腾讯在2013年自研的分布式消息中间件系统，专注服务大数据场景下海量数据的高性能存储和传输，经过近7年上万亿的海量数据沉淀，目前日均接入量超过25万亿条。...系统行级锁操作对于Broker消息读写中存在中间状态的并发操作采用行级锁，避免重复问题； 5. ...消息读取机制的改进 Tube MQ采用的是消息随机读取模式,同时为了降低消息时延又增加了内存缓存读写,对于带SSD设备的机器,增加消息滞后转SSD消费的处理，解决消费严重滞后时吞吐量下降以及SSD磁盘容量小...系统安全管控根据业务不同的数据服务需要，以及系统运维安全的考虑，Tube MQ系统增加了TLS传输层加密管道，生产和消费服务的认证、授权，以及针对分布式访问控制的访问令牌管理，满足业务和系统运维在系统安全方面的需求...客户端改进基于业务使用上的便利性以，我们简化了客户端逻辑，使其做到最小的功能集合，我们采用基于响应消息的接收质量统计算法来自动剔出坏的Broker节点，基于首次使用时作连接尝试来避免大数据量发送时发送受阻

1.9K7 2

您找到你想要的搜索结果了吗？

是的

没有找到

深度解析Apache RocketMQ：从核心原理到实战应用

Apache RocketMQ作为一款源自阿里、捐献给Apache基金会的开源消息中间件，凭借其金融级可靠性、丰富的功能特性及优秀的性能表现，已成为互联网、金融、电商等领域的主流选择。...其设计目标是打造一款“金融级可靠、高吞吐、低延迟、功能丰富”的消息中间件，既满足普通业务的异步通信需求，也能支撑金融交易、电商订单等对一致性要求极高的核心场景。...Master-Slave模式（同步双写）：每个Master配置一个Slave，数据同步双写，需主备均写入成功才返回发送成功，适用于金融级核心场景。...RabbitMQ 核心定位金融级消息中间件，平衡可靠与性能分布式流处理平台，高吞吐优先企业级消息代理，灵活路由优先吞吐量高（接近Kafka，十万级TPS）极高（百万级TPS，大数据首选）...九、总结 Apache RocketMQ凭借其金融级可靠性、丰富的高级特性、简洁的架构设计及云原生演进能力，已成为分布式系统中核心的消息中间件选择。

1.1K1 0

蚂蚁金服11.11：支付宝和蚂蚁花呗的技术架构及实践

每年“双11”都是一场电商盛会，消费者狂欢日。今年双11的意义尤为重大，它已经发展成为全世界电商和消费者都参与进来的盛宴。...而对技术人员来说，双十一无疑已经成为一场大考，考量的角度是整体架构、基础中间件、运维工具、人员等。...分布式数据架构支付宝在2015年双十一当天的高峰期间处理支付峰值8.59万笔/秒，已经是国际第一大系统支付。...从上线初期的10笔/秒的支付量发展到双十一当天峰值2.1w笔/秒。支撑蚂蚁花呗业务发展的技术体系经过不断演进、已经完全依托于蚂蚁金服的金融云架构。...在之前的架构中，系统的秒级处理能力无法有效衡量，通过简单的引流压测无法得到更加准确、可信的数据。立足于金融云，系统很快通过全链路压测得到了每秒处理4w笔支付的稳定能力。

5.8K6 0

揭秘：2018阿里双11秒杀背后的技术

二、阿里双11背后的技术 ? 1. 云计算利用云计算弹性能力，支撑交易峰值每秒32.5万笔、支付峰值每秒25.6万笔的混合云弹性架构。 2. 分布式消息引擎在双11当天实现万亿级消息流转。 3....物流技术菜鸟通过包裹预测、供应链入库、订单下沉、订单路由调度、电子面单及智能分单，以及末端小件员，涉及十亿级包裹的双11之战。...总之，双11将涉及：基础设施、存储、中间件、云计算、业务架构、大数据、认知计算与人工智能、交互技术等技术领域。...充分利用消息中间件削峰这里有相关的阿里消息中间件(Notify和MetaQ)，以及开源的(ActiveMQ、Kafka等)。...现在对数据库的拆分，都是利用数据库层中间件(淘宝 tddl)，来进行无缝对数据库的侵入设计。除此以外还会涉及到分布式小文件存储以及搜索引擎，以及服务器集群监控等技术。

5.7K3 0

通过双十一等项目实践看架构技术

每年“双 11”都是一场电商盛会，消费者狂欢日。今年双 11 的意义尤为重大，它已经发展成为全世界电商和消费者都参与进来的盛宴。...而对技术人员来说，双十一无疑已经成为一场大考，考量的角度是整体架构、基础中间件、运维工具、人员等。...分布式数据架构支付宝在 2015 年双十一当天的高峰期间处理支付峰值 8.59 万笔 / 秒，已经是国际第一大系统支付。...在之前的架构中，系统的秒级处理能力无法有效衡量，通过简单的引流压测无法得到更加准确、可信的数据。立足于金融云，系统很快通过全链路压测得到了每秒处理 4w 笔支付的稳定能力。...为了保证蚂蚁花呗双 11 期间的授信资金充足，在金融云体系下搭建了机构资产中心，对接支付清算平台，将表内的信贷资产打包形成一个一定期限的资产池，并以这个资产池为基础，发行可交易证券进行融资，即通过资产转让的方式获得充足资金

2.8K3 0

腾讯专有云TCE 高可用技术白皮书

） #缓存数据库CRedis（二级类目：CloudDB for Redis） #流式消息引擎TDMQ-Kafka（二级类目：TDMQ for CKafka） #消息队列TDMQ-Pulsar...#分布式存储平台（二级类目：三副本冗余存储） #快照备份系统（二级类目：跨区域数据备份）第二章：报告背景和目标报告聚焦政企、金融等关键行业客户对业务连续性的核心诉求，以RTO（业务恢复时间...（双AZ、双AZ+仲裁、三AZ、双Region）的量化高可用方案，实现单AZ故障RTO≈0/RPO=0、地域级故障RPO分钟级，支撑金融、传媒等行业客户数智化转型。...•核心分析模型：“八横四纵”高可用体系（四纵：硬件组件级、节点级、机柜级、AZ级故障容忍；八横：基础设施、网络连接、计算调度、存储、中间件与数据库、微服务框架、应用、管控底座高可用能力）。...•国际性与技术领先：TCE高可用架构获金融客户验证，跻身全球分布式云平台领导者象限；自研产品如TDSQL分布式数据库（强一致跨AZ同步）、TDMQ-Pulsar金融级消息中间件（跨AZ强一致）、CRedis

8541 0

腾讯专有云 TCE 高可用技术白皮书

第五章：核心观点 1. “3+3+2”仲裁部署架构是解决金融级高可用的核心方案针对传统双AZ部署在故障切换时需要人工介入导致RTO过长的问题，TCE提出了“双AZ+仲裁区”模式。...• 中间件：TDMQ-Pulsar采用存算分离架构，支持跨AZ部署，极端情况下可保证消息零丢失。 • 计算层：支持CVM热迁移，在宿主机轻度故障时，迁移过程业务感知RTO几乎为0。 3....• 双活AZ+仲裁区（推荐场景）：解决网络脑裂问题，实现自动切换，适用于金融核心系统。 • 三AZ部署（优先考虑）：利用三地互联形成天然多数派，无需独立仲裁区，可靠性最高。 4....在某头部农商银行案例中，TCE成功构建了国内首个同城三AZ（双活+仲裁）金融云平台，将业务恢复时间（RTO）压缩至2分钟级别，同时确保核心数据RPO=0，树立了金融分布式云架构的新标杆。 3....特别是其自研的TDSQL数据库和TDMQ消息队列，能够原生支持跨AZ的强一致性数据同步，使得企业无需修改应用代码即可获得金融级的高可用保障。 4.

8541 0

一文归纳总结分布式架构的那些事！

进入十一月，最火热的话题与期待的日子自然是双十一狂欢购物节了，作为程序员的你除了要清空自己的购物车之外，最关心的是不是双十一架构技术是如何承受亿级用户流量的冲击，又是如何在分布式架构中实现单点登陆，形成支持高并发...（9）Dubbo容错容错机制及高扩展性分析三、分布式架构中间件 1、分布式消息通信（1）消息中间件在分布式架构中的应用（2）ActiveMQ高可用集群企业级部署方案（3）ActiveMQ P2P...及PUB/SUB模型详解（4）ActiveMQ基于Spring完成分布式消息列队实战（5）Kafka基于Zookeeper搭建高可用集群实战（6）Kafka消息处理过程剖析（7）Java客户端实现...（6）MongDB聚合、索引及基本执行命令（7）MongDB数据分片、转存及恢复策略（8）MySQL主从复制及读写分离实战（9）MySQL+keepalived实现双主高可用方案实践（10）MySQL...1、分布式全局ID生成方案 2、session跨域共享及企业级单点登陆解决方案 3、分布式事物解决方案实战 4、高并发下的服务降级、限流实战 5、基于分布式架构下分布式锁的解决方案实战 6、分布式架构下实现分布式定时调度

2.1K5 0

蚂蚁金服大规模微服务实践！

支撑这些数字的背后，是蚂蚁金融科技的一些核心技术，我们可以看到有三地五中心多活架构，分布式数据库OceanBase，金融级分布式架构SOFAStack，还有更多的一些黑科技，例如Zoloz生物识别，蚂蚁区块链...2015 年 9 月蚂蚁金融云对外正式发布，在今年 9 月的云栖大会，蚂蚁金融云正式升级为蚂蚁金融科技，并宣布技术全面对外开放，其中就包括金融级分布式架构 SOFAStack：https://tech.antfin.com...sidecar等 3、SOFAStack 开源 SOFAStack 中的 SOFA 其实是 Scalable Open Financial Architecture 的首字母缩写，它是用于快速构建金融级分布式架构的一套中间件...SOFA（Scalable Open Financial Architecture） SOFA 中间件是蚂蚁金服自主研发的金融级分布式中间件，包含了构建金融级云原生架构所需的各个组件，包括微服务研发框架...，RPC 框架，服务注册中心，分布式定时任务，限流/熔断框架，动态配置推送，分布式链路追踪，Metrics 监控度量，分布式高可用消息队列，分布式事务框架，分布式数据库代理层等组件，也是在金融场景里锤炼出来的最佳实践

2.1K2 0

探索 RocketMQ：企业级消息中间件的选择与应用

探索 RocketMQ：企业级消息中间件的选择与应用一、关于RocketMQRocketMQ 是一个高性能、高可靠、可扩展的分布式消息中间件，它是由阿里巴巴开发并贡献给 Apache 软件基金会的一个开源项目...RocketMQ作为一款纯java、分布式、队列模型的开源消息中间件，支持事务消息、顺序消息、批量消息、定时消息、消息回溯等，总之就是葛大爷的一句话。‍‍‍...由于传统的消息队列无法承受亿级用户的访问流量和海量数据传输，诞生了互联网消息中间件，核心能力是全面采用分布式架构、具备很强的横向扩展能力，开源典型代表有 Kafka、RocketMQ，闭源的还有淘宝 Notify...2012年：阿里巴巴开源其自研的第三代分布式消息中间件——RocketMQ。经过几年的技术打磨，阿里称基于RocketMQ技术，目前双十一当天消息容量可达到万亿级。...RocketMQ 支持事务消息（Transaction Message），能够确保分布式事务的准确性，适合在银行、电商金融、支付系统中进行实时交易消息处理。

1.3K1 0

2025年Web中间件技术全景深度对比：国产化替代与智能化演进分析

1 引言：中间件的定义与2025年技术背景Web中间件作为现代分布式系统的核心基础设施，在操作系统与应用软件之间构建了关键的连接层，有效屏蔽底层技术复杂性，为分布式应用提供标准化接口和公共服务（如通信、...其核心优势体现在：事务处理能力（支持XA分布式事务）、企业级负载均衡（动态集群扩展）和全球运维支持体系。...消息中间件时延：IBM MQ在1KB小消息场景下端到端延迟为0.8ms，仍为行业标杆。...7 结论与建议7.1 选型决策矩阵基于技术评估，提出分场景选型建议：金融核心系统：优先选择东方通TongWeb（事务一致性）或华为FusionSphere（分布式架构），满足高可靠与国密合规要求。...避免采用云原生中间件处理传统交易，防止事务管理风险。智能业务系统（AI/大数据）：推荐Nacos 3.0（动态治理）或宝兰德BES（双引擎架构），充分利用MCP协议统一管理AI服务。

4.3K1 1

喜报！腾讯云 TSF 和 TDMQ 产品获评“2021-2022年度中国优秀创新软件”！

基于深厚的自主技术研发实力和创新的产品功能，腾讯云微服务平台TSF 和消息队列 TDMQ 产品获得与会专家的一致认可，入选“2021-2022年度中国优秀创新软件产品”，体现了腾讯云中间件产品在基础软件和平台支撑软件细分领域的自主创新能力...提供同城双活、两地三中心高可用容灾能力，配套运营管控平台实现完善的运营监控能力。 TSF 已具有上万企业用户，广泛应用于金融、政府、工业、能源、泛互联网等业务领域。...TDMQ 产品介绍腾讯分布式消息队列软件（Tencent Distributed Message Queue，简称TDMQ）是一个云原生消息队列中间件系列，为分布式应用系统提供异步解耦和削峰填谷的能力...腾讯分布式消息队列TDMQ 公有云企业级用户数 2000+，在腾讯内部每日支撑了30亿+消息，私有云交付实施项目包括90+大中型企业，广泛应用于金融、政府、医疗、泛互等行业和领域。...往期推荐《关于MQ，你了解多少？（干货分享之二）》《关于MQ，你了解多少？

1.8K3 0

信创产品

技术架构支持集中式（DM8）与分布式（DMTDD）双引擎，适应不同场景。...2.分布式能力（DMTDD） ·全透明分片：自动拆分数据到多个节点，应用无感知。 ·多活容灾：支持同城双活/异地多活，RTO金融级可靠性）。...3.3 OceanBase OceanBase（蚂蚁集团）是由阿里巴巴/蚂蚁集团自主研发的原生分布式关系数据库，定位为“全球唯一在事务处理和数据分析双领域刷新TPC-C/TPC-H世界纪录”的金融级数据库...东方通TongWeb、金蝶Apusic 支撑Java/Python等应用运行环境消息中间件 IBM MQ 东方通TongLINK/Q、普元Primeton 跨系统异步通信、削峰填谷分布式事务中间件...o特性：集成Kubernetes管理，秒级弹性伸缩 o性能：TPC-C测试超WebLogic 30% 2.Apusic MQ：金融级消息中间件 o特性：支持分布式事务消息，100%兼容IBM MQ协议

5.5K1 0

MQ 选型框架——KafkaRabbitMQRocketMQ 的模型差异与业务匹配清单

消息队列选型不是技术参数的简单对比，而是业务需求与技术特性的精准匹配艺术在完成系统监控体系的建设后，我们面临另一个关键架构决策：如何选择适合业务需求的消息中间件。...2三大消息队列架构深度解析2.1Kafka：高吞吐的分布式流处理平台Kafka采用发布-订阅模型，核心架构基于主题-分区-副本的三级设计。...：•吞吐量相对较低：单机吞吐量在万级到十万级•扩展性受限：队列与节点强耦合，水平扩展困难•Erlang技术栈：基于Erlang开发，定制和二次开发门槛较高2.3RocketMQ：金融级可靠的消息队列RocketMQ...核心优势：•金融级可靠性：支持事务消息、顺序消息等高级特性•吞吐量与延迟平衡：单机吞吐量达十万级，延迟在毫秒级•消息回溯：支持按时间偏移量回溯消息•分布式事务：提供完整的分布式事务解决方案架构局限：•生态系统相对局限...、设备级路由•配置建议：内存队列、适当预取值、MQTT插件•规避点：避免大数据量持久化场景金融支付系统：推荐RocketMQ•核心需求：金融级可靠、消息回溯、分布式事务•配置建议：同步双写、多副本、严格有序

1.3K1 0

数字化平台全面护航金融信创落地 | 信创讲坛第一期

普元应用服务器PAS、消息中间件MQ、大文件传输平台BFT、企业服务总线ESB、业务流程平台BPS、数据集成平台DI、应用开发平台EOS、微服务开发平台EOS MS、研发运维一体化平台DevOps、低代码开发平台...例如普元企业服务总线支撑单日亿级海量服务调用，TPS（每秒交易数）能够达到8000＋的峰值，满足金融客户对高性能和高并发的要求。...这种情况下，普元会推荐客户首先通过应用的分布式改造，将单体应用去改造成分布式的微服务架构应用，改造完成了之后，再进行对应的应用的迁移和数据迁移的工作，迁移到信创环境。...普元帮助某农信社实现的分布式架构的移动办公系统的信创落地，良好说明了针对金融领域特色需求推出的信创迁移模式的“一箭双雕”成果。...整套方案底层操作系统使用了银河麒麟和统信UOS的双操作系统，数据库采用的是华为高斯，中间件运用到了普元的应用服务器、微服务开发平台、流程平台、企业服务总线，功能、性能、安全性指标均符合全行应用需求及监管机构要求

1.7K1 0

蚂蚁云原生应用运行时的探索和实践

2010 年之后，推出了快捷支付，移动支付，支撑双十一，还有余额宝等现象级产品，用户数到了亿这个级别，蚂蚁的应用数也数量级的增长，蚂蚁自研了很多全套的微服务中间件去支撑蚂蚁的业务； 2014 年，像借呗花呗...、线下支付、更多场景更多业务形态的出现，对蚂蚁的可用性和稳定性提出更高的要求，蚂蚁对微服务中间件进行了 LDC 单元化的支持，支撑业务的异地多活，以及为了支撑双十一超大流量的混合云上的弹性扩缩容。...而现在的 MOSN 已经不仅仅是 Service Mesh 了，而是 Multi-Mesh，因为除了 RPC，我们还支持了更多中间件的 Mesh 化落地，包括消息、配置、缓存的等等。...异构技术栈接入在蚂蚁，不同的语言的应用除了 RPC 服务治理、消息等的需求之外，还希望使用上蚂蚁统一的中间件等基础设施能力，Java 和 Nodejs 是有对应的 SDK 的，而其他语言是没有的对应的...；云原生应用运行时将是中间件等基础技术的未来形态，进一步解耦应用与分布式能力；云原生应用运行时核心是 API，期望社区共建一个标准。

1.1K1 0

工商银行MySQL数据库架构解密

第三阶段转型实施及推广 2018年开始大规模的实施和推广，在这个过程中基于开源的MySQL数据库，我们逐步建立起了一个企业级的数据库服务能力，包括引入了分布式的中间件，在高可用、运维能力的提升，...2.2.2 分布式技术栈基于这样的一个原型探索，我们构建了一系列的分布式架构技术栈，包括分布式服务、分布式事务框架、分布式批量框架、分布式缓存、交易数据核对及补偿、分布式消息、配置中心、开发及运维管理...分布式消息平台，实现这样一个应用级的数据交互；同时我们也进行了运维的规划和总设计。...2.3.2 分布式中间件应用 2018年开始转型和实施，并且大量应用上线；之前的基于应用级的分布式解决方案，遇到了一些新的限制；部分应用不想设计的过分复杂，这个时候引入了开源分布式中间件DBLE，引入它的目的就是为了简化开发的工作量...我们刚才提到消息平台，它实现了应用和应用之间的数据交换，这个是业务级的。

2.3K4 0

CKafka系列学习文章 - 对比RabbitMQ、RocketMQ、TDMQ-CMQ、kafka和Ckafka（二）

万QPS 读写12万QPS 同步算法 ISR（Replica） ISR（Replica） GM 同步双写 Raft 可用性可用性很高，主从自动切换，腾讯云消息服务承诺可用性99.95% 可用性高，主从自动切换...，故障情况极少发生可靠性低；Broker 只有异步刷盘机制并主备只有异步复制，可能会导致丢失部分消息可靠性高；发送消息时，指定消息为持久化就会写入到磁盘可靠性高；Broker 同步双写，主备都写成功才返回成功...Ckafka和CMQ都作为消息中间件都支持集群部署、高吞吐量、强一致等特性，那这两款产品最主要的区别是什么，分别更适合哪些场景使用？...实时打点数据分析、用户行为离线分析、实时决策、发券、黑产发现、智能推荐等。...for CMQ，简称 TDMQ CMQ 版）是一种分布式消息队列服务，它具有可靠的、基于消息的异步通信机制，能够将分布式部署的不同应用（或同一应用的不同组件）中的信息传递，存储在可靠有效的消息队列中，防止消息丢失

6.2K7 4

好的，这份文档是关于腾讯专有云TCE（Tencent Cloud Enterprise）的高可用（High Availability, HA）解决方案，内容非常全面和深入。它详细阐述了TCE如何通过其架构设计、网络、计算、存储、数据层和应用层的各种机制，确保业务的连续性和数据的可靠性。

双AZ部署 (标准模式)：实现同城双活（Active/Active或Active/Standby）。主要组件（CLB, VPCGW, 中间件, 数据库）跨AZ部署保证高可用。...PaaS层高可用设计：消息队列与流式数据引擎： TDMQ-Pulsar (BookKeeper模式)：Broker和Bookie均跨AZ分布式部署。多个副本成功写入才返回，强一致（RPO=0）。...实战案例：展示了TCE的高可用方案在金融（头部农商行双活+仲裁区实现秒级切换，财险/股份制银行双Region/三AZ）、媒体（国家级5G平台）等关键行业的落地效果。...分布式弹性：基于分布式架构的组件（存储、数据库、中间件）在硬件、节点、机柜、AZ各级别故障下自动恢复和重建。简化运维： PaaS服务自带跨AZ高可用性，用户无需关注中间件/数据库层面的高可用配置。...特别是其对数据库（TDSQL）强一致复制和支撑集群（ZK/etcd）仲裁机制的设计，是TCE实现“分钟级切换，零数据丢失”金融级高可用目标的核心技术支柱。

9051 0

点击加载更多

腾讯开源万亿级分布式消息中间件 TubeMQ

腾讯万亿级分布式消息中间件TubeMQ正式开源

深度解析Apache RocketMQ：从核心原理到实战应用

蚂蚁金服11.11：支付宝和蚂蚁花呗的技术架构及实践

揭秘：2018阿里双11秒杀背后的技术

通过双十一等项目实践看架构技术

腾讯专有云TCE 高可用技术白皮书

腾讯专有云 TCE 高可用技术白皮书

一文归纳总结分布式架构的那些事！

蚂蚁金服大规模微服务实践！

探索 RocketMQ：企业级消息中间件的选择与应用

2025年Web中间件技术全景深度对比：国产化替代与智能化演进分析

喜报！腾讯云 TSF 和 TDMQ 产品获评“2021-2022年度中国优秀创新软件”！

信创产品

MQ 选型框架——KafkaRabbitMQRocketMQ 的模型差异与业务匹配清单

数字化平台全面护航金融信创落地 | 信创讲坛第一期

蚂蚁云原生应用运行时的探索和实践

工商银行MySQL数据库架构解密

CKafka系列学习文章 - 对比RabbitMQ、RocketMQ、TDMQ-CMQ、kafka和Ckafka（二）

相关资讯

热门标签

活动推荐

运营活动

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐