双11金融级分布消息中间件选购 - 腾讯云开发者社区

文章/答案/技术大牛

发布

腾讯开源万亿级分布式消息中间件 TubeMQ

beMQ 是腾讯在 2013 年自研的分布式消息中间件系统，专注服务大数据场景下海量数据的高性能存储和传输，经过近 7 年上万亿的海量数据沉淀，目前日均接入量超过 25 万亿条。...变更及查询实现了完整的自动化闭环管理，减轻了系统维护的复杂度；服务器侧消费负载均衡 Tube MQ 采用的是服务侧负载均衡的方案，而不是客户端侧操作，提升系统的管控能力同时简化客户端实现，更便于均衡算法升级；系统行级锁操作...对于 Broker 消息读写中存在中间状态的并发操作采用行级锁，避免重复问题； Offset 管理调整 Offset 由各个 Broker 独自管理，ZK 只作数据持久化存储用（最初考虑完全去掉 ZK...依赖，考虑到后续的功能扩展就暂时保留）；消息读取机制的改进 Tube MQ 采用的是消息随机读取模式, 同时为了降低消息时延又增加了内存缓存读写, 对于带 SSD 设备的机器, 增加消息滞后转 SSD...消费时延分级保证、消费限流控制，以及数据拉取频率控制等；系统安全管控根据业务不同的数据服务需要，以及系统运维安全的考虑，Tube MQ 系统增加了 TLS 传输层加密管道，生产和消费服务的认证、授权，以及针对分布式访问控制的访问令牌管理

2.3K6 0

腾讯万亿级分布式消息中间件TubeMQ正式开源

TubeMQ是腾讯在2013年自研的分布式消息中间件系统，专注服务大数据场景下海量数据的高性能存储和传输，经过近7年上万亿的海量数据沉淀，目前日均接入量超过25万亿条。...系统行级锁操作对于Broker消息读写中存在中间状态的并发操作采用行级锁，避免重复问题； 5. ...消息读取机制的改进 Tube MQ采用的是消息随机读取模式,同时为了降低消息时延又增加了内存缓存读写,对于带SSD设备的机器,增加消息滞后转SSD消费的处理，解决消费严重滞后时吞吐量下降以及SSD磁盘容量小...系统安全管控根据业务不同的数据服务需要，以及系统运维安全的考虑，Tube MQ系统增加了TLS传输层加密管道，生产和消费服务的认证、授权，以及针对分布式访问控制的访问令牌管理，满足业务和系统运维在系统安全方面的需求...采用连接复用模式，减少连接资源消耗；通过逻辑分区构造，减少系统对文件句柄数的占用，通过服务器端过滤模式，减少网络带宽资源使用率；通过剥离对Zookeeper的使用，减少Zookeeper的强依赖及瓶颈限制； 11

1.9K7 2

您找到你想要的搜索结果了吗？

是的

没有找到

腾讯专有云TCE 高可用技术白皮书

） #缓存数据库CRedis（二级类目：CloudDB for Redis） #流式消息引擎TDMQ-Kafka（二级类目：TDMQ for CKafka） #消息队列TDMQ-Pulsar...#分布式存储平台（二级类目：三副本冗余存储） #快照备份系统（二级类目：跨区域数据备份）第二章：报告背景和目标报告聚焦政企、金融等关键行业客户对业务连续性的核心诉求，以RTO（业务恢复时间...（双AZ、双AZ+仲裁、三AZ、双Region）的量化高可用方案，实现单AZ故障RTO≈0/RPO=0、地域级故障RPO分钟级，支撑金融、传媒等行业客户数智化转型。...•核心分析模型：“八横四纵”高可用体系（四纵：硬件组件级、节点级、机柜级、AZ级故障容忍；八横：基础设施、网络连接、计算调度、存储、中间件与数据库、微服务框架、应用、管控底座高可用能力）。...•国际性与技术领先：TCE高可用架构获金融客户验证，跻身全球分布式云平台领导者象限；自研产品如TDSQL分布式数据库（强一致跨AZ同步）、TDMQ-Pulsar金融级消息中间件（跨AZ强一致）、CRedis

8581 0

选 Redis Stream 还是传统 MQ？——技术选型与场景适配指南

在分布式系统架构中，消息队列是解耦服务、削峰填谷的核心组件。...一、架构设计差异：轻量级 vs 企业级Redis Stream 的极简哲学Redis Stream 基于内存存储，采用 Radix Tree 结构组织消息，核心设计包含三个要素：消息日志：按时间顺序追加的持久化记录...传统 MQ 的分布式基因专业 MQ 中间件通过集群架构实现高可用：Kafka：基于 Partition 的水平扩展，单 Topic 支持百万级 TPSRabbitMQ：支持 AMQP 协议的灵活路由（Direct.../Topic/Fanout 交换器）RocketMQ：阿里双 11 验证的金融级消息系统，提供事务消息、定时消息等特性典型场景：电商订单系统使用 RocketMQ 事务消息，确保订单创建与库存扣减的原子性...三、选型决策框架优先选择 Redis Stream 的场景资源受限环境：嵌入式系统或边缘计算节点，无法部署复杂中间件简单解耦需求：通知类消息（如邮件发送、短信推送）实时性敏感：金融交易系统中的实时对账，

9921 0

深度解析Apache RocketMQ：从核心原理到实战应用

Apache RocketMQ作为一款源自阿里、捐献给Apache基金会的开源消息中间件，凭借其金融级可靠性、丰富的功能特性及优秀的性能表现，已成为互联网、金融、电商等领域的主流选择。...其设计目标是打造一款“金融级可靠、高吞吐、低延迟、功能丰富”的消息中间件，既满足普通业务的异步通信需求，也能支撑金融交易、电商订单等对一致性要求极高的核心场景。...Master-Slave模式（同步双写）：每个Master配置一个Slave，数据同步双写，需主备均写入成功才返回发送成功，适用于金融级核心场景。...RabbitMQ 核心定位金融级消息中间件，平衡可靠与性能分布式流处理平台，高吞吐优先企业级消息代理，灵活路由优先吞吐量高（接近Kafka，十万级TPS）极高（百万级TPS，大数据首选）...九、总结 Apache RocketMQ凭借其金融级可靠性、丰富的高级特性、简洁的架构设计及云原生演进能力，已成为分布式系统中核心的消息中间件选择。

1.1K1 0

余额宝技术架构及演进

中间层就是采用小型机，其中 KCXP 和 KCBP 是金证公司的消息中间件和业务中间件。往上前端是前置解析是用的 WebLogic，负载均衡用的硬件负载均衡。 ?...另外当年要参加支付宝这边的双 11 活动，以当时的系统处理能力来讲，肯定是做不到的。二期云端架构基于这些原因，需要对一期的系统做优化，怎么优化？...目前来讲应对春节、双11、国庆长假等场景，系统都能稳定应对这些。 ?...比如对于在线交易，可以采用经过阿里支付宝验证过的 OB，专门用于解决金融级的分布式关系数据库的解决方案；对于批量结算，可以继续沿用多年来在余额宝已经用的很娴熟的 RDS 集群。...异步调用异步调用主要靠消息中间件。金融系统对消息中间件的可靠性要求非常高，这块我们还是沿用传统思路，并不想采用开源解决方案去填那些坑，更多考虑采用成熟金融级消息中间件来做这件事情。 ?

1.9K5 0

中间件MQ是什么？

中间件 MQ（消息队列，Message Queue）是一种分布式通信中间件，核心功能是异步传递消息，解决分布式系统中 “服务间解耦、流量削峰、可靠通信” 的问题。...流量削峰（应对突发流量）场景：双 11 零点，10 万 /s 的抢购请求直接打数据库，瞬间压垮。...可靠消息传递（防丢机制）保障：MQ 通过 “持久化存储 + ACK 确认 + 重试机制” 确保消息不丢失。...，纯 Key-Value 存储典型场景订单异步通知、日志收集、流量缓冲商品库存缓存、高频查询加速四、主流 MQ 产品对比（按需选择）产品适用场景优势缺点Kafka高吞吐日志、实时流处理单集群日处理万亿级消息不保证严格顺序...，适合大数据场景RabbitMQ金融级可靠消息、精准路由支持事务、死信队列、ACK 机制吞吐量相对低（万级 /s）RocketMQ阿里系电商、分布式事务分布式事务、消息重试策略社区生态不如 Kafka

1.9K1 0

腾讯云金融数字化解决方案：构建高可用、高性能的国产云底座

腾讯云全栈国产化解决方案实现架构升级针对银行核心场景，腾讯云提供基于TDSQL分布式数据库的单元化架构方案。该方案采用"同城双活+异地灾备"部署模式，通过数据强同步机制确保RPO=0。...TDSQL支持MySQL/PostgreSQL双引擎，提供分布式事务处理能力，SQL兼容度达99%以上。...同时基于TCE专有云平台构建一体化云原生PaaS能力，集成微服务框架TSF、消息中间件TDMQ等组件。...核心业务系统性能实现数量级提升性能提升：上海银行新会计核算系统日终结账时间下降60%；湖州银行核心系统业务处理能力提升10倍，代发速度提升11倍成本优化：平安银行信用卡核心系统数据库成本降至原Oracle...国有大行基于TCE构建的超大规模金融云节点超6万，支撑业务年增长300%。大数据平台TBDS支持PB级数据处理，太平人寿数据查询时效从小时级提升至5分钟。

3421 0

揭秘：2018阿里双11秒杀背后的技术

二、阿里双11背后的技术 ? 1. 云计算利用云计算弹性能力，支撑交易峰值每秒32.5万笔、支付峰值每秒25.6万笔的混合云弹性架构。 2. 分布式消息引擎在双11当天实现万亿级消息流转。 3....物流技术菜鸟通过包裹预测、供应链入库、订单下沉、订单路由调度、电子面单及智能分单，以及末端小件员，涉及十亿级包裹的双11之战。...总之，双11将涉及：基础设施、存储、中间件、云计算、业务架构、大数据、认知计算与人工智能、交互技术等技术领域。...充分利用消息中间件削峰这里有相关的阿里消息中间件(Notify和MetaQ)，以及开源的(ActiveMQ、Kafka等)。...现在对数据库的拆分，都是利用数据库层中间件(淘宝 tddl)，来进行无缝对数据库的侵入设计。除此以外还会涉及到分布式小文件存储以及搜索引擎，以及服务器集群监控等技术。

5.7K3 0

腾讯云中间件产品月报（2021年第6期）

02 消息队列 CKafka ■ 产品介绍分布式、高吞吐量、高可扩展性的消息服务，具备数据压缩、同时支持离线和实时数据处理等优点。...国际站专业版支持按量计费，用户可根据具体的业务现状按需选购。 03 消息队列 TDMQ ■产品介绍基于 Pulsar，云原生 Serverless 化，高性能、强一致的分布式消息队列。...免费体验馆消息队列CKafka 分布式、高吞吐量、高可扩展性的消息服务，具备数据压缩、同时支持离线和实时数据处理等优点。...扫码即可免费体验免费体验路径：云产品体验->基础->消息队列CKafka 消息队列TDMQ 一款基于 Apache 顶级开源项目 Pulsar 自研的金融级分布式消息中间件。...扫码点击“立即申请”，即可免费体验往期推荐《玩转Kafka Raft模式-入门宝典》《Tencent Kona JDK11无暂停内存管理ZGC生产实践》《当我们在聊高可用时，我们其实在聊什么

2.2K4 1

腾讯专有云 TCE 高可用技术白皮书

第五章：核心观点 1. “3+3+2”仲裁部署架构是解决金融级高可用的核心方案针对传统双AZ部署在故障切换时需要人工介入导致RTO过长的问题，TCE提出了“双AZ+仲裁区”模式。...• 中间件：TDMQ-Pulsar采用存算分离架构，支持跨AZ部署，极端情况下可保证消息零丢失。 • 计算层：支持CVM热迁移，在宿主机轻度故障时，迁移过程业务感知RTO几乎为0。 3....经过万亿级金融业务验证的同源技术架构腾讯专有云TCE采用与腾讯公有云完全同源的技术架构，其高可用能力直接继承自微信支付、理财通等承载万亿级金融业务的实战经验。...在某头部农商银行案例中，TCE成功构建了国内首个同城三AZ（双活+仲裁）金融云平台，将业务恢复时间（RTO）压缩至2分钟级别，同时确保核心数据RPO=0，树立了金融分布式云架构的新标杆。 3....特别是其自研的TDSQL数据库和TDMQ消息队列，能够原生支持跨AZ的强一致性数据同步，使得企业无需修改应用代码即可获得金融级的高可用保障。 4.

8541 0

2025年Web中间件技术全景深度对比：国产化替代与智能化演进分析

1 引言：中间件的定义与2025年技术背景Web中间件作为现代分布式系统的核心基础设施，在操作系统与应用软件之间构建了关键的连接层，有效屏蔽底层技术复杂性，为分布式应用提供标准化接口和公共服务（如通信、...其核心优势体现在：事务处理能力（支持XA分布式事务）、企业级负载均衡（动态集群扩展）和全球运维支持体系。...消息中间件时延：IBM MQ在1KB小消息场景下端到端延迟为0.8ms，仍为行业标杆。...7 结论与建议7.1 选型决策矩阵基于技术评估，提出分场景选型建议：金融核心系统：优先选择东方通TongWeb（事务一致性）或华为FusionSphere（分布式架构），满足高可靠与国密合规要求。...混合架构过渡：采用并行双栈模式，国产中间件与国际产品共存，通过流量灰度逐步切换。生态协同：优先选择已适配本地芯片/OS的中间件，如麒麟OS+飞腾芯片环境优选TongWeb。

4.3K1 1

好的，这份文档是关于腾讯专有云TCE（Tencent Cloud Enterprise）的高可用（High Availability, HA）解决方案，内容非常全面和深入。它详细阐述了TCE如何通过其架构设计、网络、计算、存储、数据层和应用层的各种机制，确保业务的连续性和数据的可靠性。

双AZ部署 (标准模式)：实现同城双活（Active/Active或Active/Standby）。主要组件（CLB, VPCGW, 中间件, 数据库）跨AZ部署保证高可用。...PaaS层高可用设计：消息队列与流式数据引擎： TDMQ-Pulsar (BookKeeper模式)：Broker和Bookie均跨AZ分布式部署。多个副本成功写入才返回，强一致（RPO=0）。...实战案例：展示了TCE的高可用方案在金融（头部农商行双活+仲裁区实现秒级切换，财险/股份制银行双Region/三AZ）、媒体（国家级5G平台）等关键行业的落地效果。...分布式弹性：基于分布式架构的组件（存储、数据库、中间件）在硬件、节点、机柜、AZ各级别故障下自动恢复和重建。简化运维： PaaS服务自带跨AZ高可用性，用户无需关注中间件/数据库层面的高可用配置。...特别是其对数据库（TDSQL）强一致复制和支撑集群（ZK/etcd）仲裁机制的设计，是TCE实现“分钟级切换，零数据丢失”金融级高可用目标的核心技术支柱。

9081 0

腾讯云重构大行金融生产力：基于“一云多芯”与全栈AI的量化实践

分布式云原生PaaS中台：基于微服务框架（TSF）、分布式数据库（TDSQL）、消息中间件（TDMQ）等组件，支撑业务系统实现“单元化”及“跨机房多活”架构落地。...某国有大行（分布式核心重构）：落地“四地、八中心、多活”架构，成功投产客户信息、信用卡、借记卡等核心业务。2023年4月完成信用卡核心下移，并在 2024年11月实现主机应用全部关停。...构筑金融分布式数据库的市占率壁垒在底层核心系统中，腾讯云展现了极高的技术确定性与市场认可度：服务国家级金融基建：腾讯云TDSQL已深入服务国民金融基础设施，支撑央行国库、清算支付查询等核心业务及央行云各类关键应用...市场份额绝对领先：已累计支撑 1,000+家金融机构，稳居中国金融行业分布式事务性数据库市场份额第一（数据来源：IDC《中国金融行业分布式事务性数据库市场份额，2023》）。...节点规模与增速双冠： TDSQL金融物理节点累计部署达 20,000+节点，全行业增速第一（数据来源：IDC《2024年下半年中国关系型数据库软件市场跟踪报告》）。

5841 0

祝贺！中原消金、重庆农商行荣获信通院年度优秀案例

其中，河南中原消费金融股份有限公司（简称“中原消金”）、重庆农村商业银行股份有限公司（简称“重庆农商行”）荣获2024专有云典型案例（容灾方向）。...中原消金中原消金同城双活项目中原消金基于腾讯专有云TCE全栈云解决方案，构建同城双活（含仲裁）高可用生产云平台，为全量业务提供数据中心级云平台IaaS、PaaS服务的高可用容灾切换能力。...重庆农商行重庆农商行金融云平台重庆农商行基于腾讯专有云PaaS平台TCS，建设重庆农商行两地三中心金融级容灾云原生PaaS云平台，打造一体化、分布式云原生PaaS平台，统一技术标准和接入规范，提升研发效率...通过腾讯专有云PaaS平台TCS提供微服务框架TSF和容器服务，结合腾讯云消息中间件TDMQ及Ckafka和缓存中间件Credis等产品，构成重庆农商金融级云原生技术底座，规范行内技术标准和接入规范，构建一体化的监控运维体系...目前腾讯专有云已经在金融、政务、零售、交通、出行、地产、制造等众多行业取得大量成功案例落地，在业界获得了广泛的认可。

9051 0

【金猿信创展】恒生电子——全栈式信创解决方案，助力金融信创行稳致远

核心技术及产品突破 1、分布式微服务中间件Light-JRES Light-JRES是面向金融领域的企业级应用快速开发平台和多系统融合平台，既减轻对基础设施的依赖，又从业务上具备可复用、可扩展、高安全的特性...JRES中间件是实现对通用技术组件的服务化，譬如：分布式缓存、消息队列、分布式事务等等，通过应用共享以及多租户隔离实现技术组件最大程度复用，降低系统的资源消耗让技术组件和业务公共模块下沉，从而做到支持业务的快速创新和迭代...2、分布式低延时中间件Light-LDP Light-LDP是具有集低延时、分布式解耦、灵活开放等特点的开发平台，支持金融机构微秒级业务应用，主要面向券商自营、券商资管以及券商机构业务的策略交易、算法交易...3、金融级分布式数据库LightDB LightDB是一款支持在线事务处理与在线分析处理的融合型分布式数据库，具备SQL兼容性高、容量弹性伸缩、金融级高可用、现代硬件融合、纯内存计算等核心特性，适用于对可用性...LightDB具有“更快、更稳、更懂金融”的企业级特性：采用单机分布式一体化架构，同时支持集中式和分布式部署，在长时间高负载压测下抖动很低；性能方面，在同机房高可用信创软硬件下、单节点进行证券典型订单TPS

2K3 0

信创产品

2.分布式能力（DMTDD） ·全透明分片：自动拆分数据到多个节点，应用无感知。 ·多活容灾：支持同城双活/异地多活，RTO金融级可靠性）。...3.3 OceanBase OceanBase（蚂蚁集团）是由阿里巴巴/蚂蚁集团自主研发的原生分布式关系数据库，定位为“全球唯一在事务处理和数据分析双领域刷新TPC-C/TPC-H世界纪录”的金融级数据库...3.3.3行业落地标杆领域代表场景规模与价值金融核心支付宝账务系统承载双11峰值61万笔/秒交易，零故障。...东方通TongWeb、金蝶Apusic 支撑Java/Python等应用运行环境消息中间件 IBM MQ 东方通TongLINK/Q、普元Primeton 跨系统异步通信、削峰填谷分布式事务中间件...o特性：集成Kubernetes管理，秒级弹性伸缩 o性能：TPC-C测试超WebLogic 30% 2.Apusic MQ：金融级消息中间件 o特性：支持分布式事务消息，100%兼容IBM MQ协议

5.5K1 0

重庆农商行基于 Tencent TCS 构建两地三中心金融级容灾平台，荣获信通院专有云优秀案例

在2024年信通院专有云优秀案例评比中，重庆农村商业银行股份有限公司（以下简称“重庆农商行”）以“重庆农商行两地三中心金融级容灾云原生PaaS云平台”获奖。...项目以腾讯专有云PaaS平台（Tencent TCS PaaS平台），建设重庆农商行两地三中心金融级容灾云原生PaaS云平台，打造一体化、分布式云原生PaaS平台，统一技术标准和接入规范，提升研发效率。...该项目在2024年11月下旬，完成了生产环境容灾切换演练，并获得了客户的感谢信。...项目解决方案通过Tencent TCS PaaS平台提供微服务框架TSF和容器服务，结合腾讯云消息中间件TDMQ及Ckafka和缓存中间件Credis等产品，构建重庆农商行金融级云原生技术底座。...依托Tencent TCS PaaS平台解决方案，屏蔽基础设施的复杂性与多样性，构建金融级云原生底座，配合已构建的中间件基础能力，形成重庆农商行独有的平台服务能力。一体化的监控运维体系。

1.4K1 0

消息中间件选型

万级十万级万级时效性 ms级以内 us（微秒）级 ms级 ms级可用性非常高（分布式架构）高（主从架构）非常高（分布式架构）高（主从架构）功能特性只支持主要的 MQ功能，像一些消息查询...号称大数据的杀手锏，谈到大数据领域内的消息传输，则绕不开Kafka，这款为大数据而生的消息中间件，以其百万级TPS（单机写入TPS约在百万条/秒**）**的吞吐量名声大噪，迅速成为大数据领域的宠儿，在数据采集...RocketMQ RocketMQ是阿里开源的消息中间件，它是纯 Java开发，具有高吞吐量、高可用性、适合大规模分布式系统应用的特点。...消息可靠性非常高，经过参数优化配置，消息可以做到0丢失。MQ功能较为完善，还是分布式的，扩展性好。支持10亿级别的消息堆积，不会因为堆积导致性能下降。...RoketMQ在稳定性上可能更值得信赖，这些业务场景在阿里双11已经经历了多次考验，如果你的业务有上述并发场景，建议可以选择RocketMQ。

2.4K2 0

蚂蚁金服11.11：支付宝和蚂蚁花呗的技术架构及实践

每年“双11”都是一场电商盛会，消费者狂欢日。今年双11的意义尤为重大，它已经发展成为全世界电商和消费者都参与进来的盛宴。...而对技术人员来说，双十一无疑已经成为一场大考，考量的角度是整体架构、基础中间件、运维工具、人员等。...分布式数据架构支付宝在2015年双十一当天的高峰期间处理支付峰值8.59万笔/秒，已经是国际第一大系统支付。...在之前的架构中，系统的秒级处理能力无法有效衡量，通过简单的引流压测无法得到更加准确、可信的数据。立足于金融云，系统很快通过全链路压测得到了每秒处理4w笔支付的稳定能力。...为了保证蚂蚁花呗双11期间的授信资金充足，在金融云体系下搭建了机构资产中心，对接支付清算平台，将表内的信贷资产打包形成一个一定期限的资产池，并以这个资产池为基础，发行可交易证券进行融资，即通过资产转让的方式获得充足资金

5.8K6 0

点击加载更多

腾讯开源万亿级分布式消息中间件 TubeMQ

腾讯万亿级分布式消息中间件TubeMQ正式开源

腾讯专有云TCE 高可用技术白皮书

选 Redis Stream 还是传统 MQ？——技术选型与场景适配指南

深度解析Apache RocketMQ：从核心原理到实战应用

余额宝技术架构及演进

中间件MQ是什么？

腾讯云金融数字化解决方案：构建高可用、高性能的国产云底座

揭秘：2018阿里双11秒杀背后的技术

腾讯云中间件产品月报（2021年第6期）

腾讯专有云 TCE 高可用技术白皮书

2025年Web中间件技术全景深度对比：国产化替代与智能化演进分析

腾讯云重构大行金融生产力：基于“一云多芯”与全栈AI的量化实践

祝贺！中原消金、重庆农商行荣获信通院年度优秀案例

【金猿信创展】恒生电子——全栈式信创解决方案，助力金融信创行稳致远

信创产品

重庆农商行基于 Tencent TCS 构建两地三中心金融级容灾平台，荣获信通院专有云优秀案例

消息中间件选型

蚂蚁金服11.11：支付宝和蚂蚁花呗的技术架构及实践

相关资讯

热门标签

活动推荐

运营活动

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐