双11金融级分布消息中间件哪里买 - 腾讯云开发者社区

文章/答案/技术大牛

发布

腾讯开源万亿级分布式消息中间件 TubeMQ

beMQ 是腾讯在 2013 年自研的分布式消息中间件系统，专注服务大数据场景下海量数据的高性能存储和传输，经过近 7 年上万亿的海量数据沉淀，目前日均接入量超过 25 万亿条。...变更及查询实现了完整的自动化闭环管理，减轻了系统维护的复杂度；服务器侧消费负载均衡 Tube MQ 采用的是服务侧负载均衡的方案，而不是客户端侧操作，提升系统的管控能力同时简化客户端实现，更便于均衡算法升级；系统行级锁操作...对于 Broker 消息读写中存在中间状态的并发操作采用行级锁，避免重复问题； Offset 管理调整 Offset 由各个 Broker 独自管理，ZK 只作数据持久化存储用（最初考虑完全去掉 ZK...依赖，考虑到后续的功能扩展就暂时保留）；消息读取机制的改进 Tube MQ 采用的是消息随机读取模式, 同时为了降低消息时延又增加了内存缓存读写, 对于带 SSD 设备的机器, 增加消息滞后转 SSD...消费时延分级保证、消费限流控制，以及数据拉取频率控制等；系统安全管控根据业务不同的数据服务需要，以及系统运维安全的考虑，Tube MQ 系统增加了 TLS 传输层加密管道，生产和消费服务的认证、授权，以及针对分布式访问控制的访问令牌管理

2.3K6 0

腾讯万亿级分布式消息中间件TubeMQ正式开源

TubeMQ是腾讯在2013年自研的分布式消息中间件系统，专注服务大数据场景下海量数据的高性能存储和传输，经过近7年上万亿的海量数据沉淀，目前日均接入量超过25万亿条。...系统行级锁操作对于Broker消息读写中存在中间状态的并发操作采用行级锁，避免重复问题； 5. ...消息读取机制的改进 Tube MQ采用的是消息随机读取模式,同时为了降低消息时延又增加了内存缓存读写,对于带SSD设备的机器,增加消息滞后转SSD消费的处理，解决消费严重滞后时吞吐量下降以及SSD磁盘容量小...系统安全管控根据业务不同的数据服务需要，以及系统运维安全的考虑，Tube MQ系统增加了TLS传输层加密管道，生产和消费服务的认证、授权，以及针对分布式访问控制的访问令牌管理，满足业务和系统运维在系统安全方面的需求...采用连接复用模式，减少连接资源消耗；通过逻辑分区构造，减少系统对文件句柄数的占用，通过服务器端过滤模式，减少网络带宽资源使用率；通过剥离对Zookeeper的使用，减少Zookeeper的强依赖及瓶颈限制； 11

1.9K7 2

您找到你想要的搜索结果了吗？

是的

没有找到

十万亿条消息背后的故事

2007 年，淘宝技术架构进行了调整，将交易系统从单体应用变成分布式，也是在这个过程中产生了阿里巴巴第一代消息中间件 Notify。...在“双 11”流量压力下，每年都有出现问题的风险，消息会延迟半天甚至一天以上，这就造成商家卖出去的商品，看不到买家已经买掉了。...当时“双 11”每年的数据量都要翻番，如果当年“双 11”问题解决不了，那么可预见下一年的“双 11”还会遇到同样的问题。...Apache RocketMQ 联合创始人，消息队列团队负责人林清山回忆道：“还好赶在流量高峰前修复好了，新的技术融合架构平安地度过了第一个双 11。...双 11 之后将这些问题进一步完善修复好，然后再进行更全面的验证。到第二年融合架构就百分百平稳上线了。” 光“双 11”还不够的，因为“双 11”只能证明性能和稳定性都很好。

8K1 0

腾讯专有云TCE 高可用技术白皮书

） #缓存数据库CRedis（二级类目：CloudDB for Redis） #流式消息引擎TDMQ-Kafka（二级类目：TDMQ for CKafka） #消息队列TDMQ-Pulsar...#分布式存储平台（二级类目：三副本冗余存储） #快照备份系统（二级类目：跨区域数据备份）第二章：报告背景和目标报告聚焦政企、金融等关键行业客户对业务连续性的核心诉求，以RTO（业务恢复时间...（双AZ、双AZ+仲裁、三AZ、双Region）的量化高可用方案，实现单AZ故障RTO≈0/RPO=0、地域级故障RPO分钟级，支撑金融、传媒等行业客户数智化转型。...•核心分析模型：“八横四纵”高可用体系（四纵：硬件组件级、节点级、机柜级、AZ级故障容忍；八横：基础设施、网络连接、计算调度、存储、中间件与数据库、微服务框架、应用、管控底座高可用能力）。...•国际性与技术领先：TCE高可用架构获金融客户验证，跻身全球分布式云平台领导者象限；自研产品如TDSQL分布式数据库（强一致跨AZ同步）、TDMQ-Pulsar金融级消息中间件（跨AZ强一致）、CRedis

8521 0

选 Redis Stream 还是传统 MQ？——技术选型与场景适配指南

在分布式系统架构中，消息队列是解耦服务、削峰填谷的核心组件。...一、架构设计差异：轻量级 vs 企业级Redis Stream 的极简哲学Redis Stream 基于内存存储，采用 Radix Tree 结构组织消息，核心设计包含三个要素：消息日志：按时间顺序追加的持久化记录...传统 MQ 的分布式基因专业 MQ 中间件通过集群架构实现高可用：Kafka：基于 Partition 的水平扩展，单 Topic 支持百万级 TPSRabbitMQ：支持 AMQP 协议的灵活路由（Direct.../Topic/Fanout 交换器）RocketMQ：阿里双 11 验证的金融级消息系统，提供事务消息、定时消息等特性典型场景：电商订单系统使用 RocketMQ 事务消息，确保订单创建与库存扣减的原子性...三、选型决策框架优先选择 Redis Stream 的场景资源受限环境：嵌入式系统或边缘计算节点，无法部署复杂中间件简单解耦需求：通知类消息（如邮件发送、短信推送）实时性敏感：金融交易系统中的实时对账，

9921 0

深度解析Apache RocketMQ：从核心原理到实战应用

Apache RocketMQ作为一款源自阿里、捐献给Apache基金会的开源消息中间件，凭借其金融级可靠性、丰富的功能特性及优秀的性能表现，已成为互联网、金融、电商等领域的主流选择。...其设计目标是打造一款“金融级可靠、高吞吐、低延迟、功能丰富”的消息中间件，既满足普通业务的异步通信需求，也能支撑金融交易、电商订单等对一致性要求极高的核心场景。...Master-Slave模式（同步双写）：每个Master配置一个Slave，数据同步双写，需主备均写入成功才返回发送成功，适用于金融级核心场景。...RabbitMQ 核心定位金融级消息中间件，平衡可靠与性能分布式流处理平台，高吞吐优先企业级消息代理，灵活路由优先吞吐量高（接近Kafka，十万级TPS）极高（百万级TPS，大数据首选）...九、总结 Apache RocketMQ凭借其金融级可靠性、丰富的高级特性、简洁的架构设计及云原生演进能力，已成为分布式系统中核心的消息中间件选择。

1.1K1 0

余额宝技术架构及演进

中间层就是采用小型机，其中 KCXP 和 KCBP 是金证公司的消息中间件和业务中间件。往上前端是前置解析是用的 WebLogic，负载均衡用的硬件负载均衡。 ?...另外当年要参加支付宝这边的双 11 活动，以当时的系统处理能力来讲，肯定是做不到的。二期云端架构基于这些原因，需要对一期的系统做优化，怎么优化？...目前来讲应对春节、双11、国庆长假等场景，系统都能稳定应对这些。 ?...比如对于在线交易，可以采用经过阿里支付宝验证过的 OB，专门用于解决金融级的分布式关系数据库的解决方案；对于批量结算，可以继续沿用多年来在余额宝已经用的很娴熟的 RDS 集群。...异步调用异步调用主要靠消息中间件。金融系统对消息中间件的可靠性要求非常高，这块我们还是沿用传统思路，并不想采用开源解决方案去填那些坑，更多考虑采用成熟金融级消息中间件来做这件事情。 ?

1.9K5 0

中间件MQ是什么？

中间件 MQ（消息队列，Message Queue）是一种分布式通信中间件，核心功能是异步传递消息，解决分布式系统中 “服务间解耦、流量削峰、可靠通信” 的问题。...流量削峰（应对突发流量）场景：双 11 零点，10 万 /s 的抢购请求直接打数据库，瞬间压垮。...可靠消息传递（防丢机制）保障：MQ 通过 “持久化存储 + ACK 确认 + 重试机制” 确保消息不丢失。...，纯 Key-Value 存储典型场景订单异步通知、日志收集、流量缓冲商品库存缓存、高频查询加速四、主流 MQ 产品对比（按需选择）产品适用场景优势缺点Kafka高吞吐日志、实时流处理单集群日处理万亿级消息不保证严格顺序...，适合大数据场景RabbitMQ金融级可靠消息、精准路由支持事务、死信队列、ACK 机制吞吐量相对低（万级 /s）RocketMQ阿里系电商、分布式事务分布式事务、消息重试策略社区生态不如 Kafka

1.9K1 0

腾讯云金融数字化解决方案：构建高可用、高性能的国产云底座

腾讯云全栈国产化解决方案实现架构升级针对银行核心场景，腾讯云提供基于TDSQL分布式数据库的单元化架构方案。该方案采用"同城双活+异地灾备"部署模式，通过数据强同步机制确保RPO=0。...TDSQL支持MySQL/PostgreSQL双引擎，提供分布式事务处理能力，SQL兼容度达99%以上。...同时基于TCE专有云平台构建一体化云原生PaaS能力，集成微服务框架TSF、消息中间件TDMQ等组件。...核心业务系统性能实现数量级提升性能提升：上海银行新会计核算系统日终结账时间下降60%；湖州银行核心系统业务处理能力提升10倍，代发速度提升11倍成本优化：平安银行信用卡核心系统数据库成本降至原Oracle...国有大行基于TCE构建的超大规模金融云节点超6万，支撑业务年增长300%。大数据平台TBDS支持PB级数据处理，太平人寿数据查询时效从小时级提升至5分钟。

3421 0

揭秘：2018阿里双11秒杀背后的技术

二、阿里双11背后的技术 ? 1. 云计算利用云计算弹性能力，支撑交易峰值每秒32.5万笔、支付峰值每秒25.6万笔的混合云弹性架构。 2. 分布式消息引擎在双11当天实现万亿级消息流转。 3....物流技术菜鸟通过包裹预测、供应链入库、订单下沉、订单路由调度、电子面单及智能分单，以及末端小件员，涉及十亿级包裹的双11之战。...总之，双11将涉及：基础设施、存储、中间件、云计算、业务架构、大数据、认知计算与人工智能、交互技术等技术领域。...充分利用消息中间件削峰这里有相关的阿里消息中间件(Notify和MetaQ)，以及开源的(ActiveMQ、Kafka等)。...现在对数据库的拆分，都是利用数据库层中间件(淘宝 tddl)，来进行无缝对数据库的侵入设计。除此以外还会涉及到分布式小文件存储以及搜索引擎，以及服务器集群监控等技术。

5.7K3 0

腾讯专有云 TCE 高可用技术白皮书

第五章：核心观点 1. “3+3+2”仲裁部署架构是解决金融级高可用的核心方案针对传统双AZ部署在故障切换时需要人工介入导致RTO过长的问题，TCE提出了“双AZ+仲裁区”模式。...• 中间件：TDMQ-Pulsar采用存算分离架构，支持跨AZ部署，极端情况下可保证消息零丢失。 • 计算层：支持CVM热迁移，在宿主机轻度故障时，迁移过程业务感知RTO几乎为0。 3....经过万亿级金融业务验证的同源技术架构腾讯专有云TCE采用与腾讯公有云完全同源的技术架构，其高可用能力直接继承自微信支付、理财通等承载万亿级金融业务的实战经验。...在某头部农商银行案例中，TCE成功构建了国内首个同城三AZ（双活+仲裁）金融云平台，将业务恢复时间（RTO）压缩至2分钟级别，同时确保核心数据RPO=0，树立了金融分布式云架构的新标杆。 3....特别是其自研的TDSQL数据库和TDMQ消息队列，能够原生支持跨AZ的强一致性数据同步，使得企业无需修改应用代码即可获得金融级的高可用保障。 4.

8541 0

2025年Web中间件技术全景深度对比：国产化替代与智能化演进分析

1 引言：中间件的定义与2025年技术背景Web中间件作为现代分布式系统的核心基础设施，在操作系统与应用软件之间构建了关键的连接层，有效屏蔽底层技术复杂性，为分布式应用提供标准化接口和公共服务（如通信、...其核心优势体现在：事务处理能力（支持XA分布式事务）、企业级负载均衡（动态集群扩展）和全球运维支持体系。...消息中间件时延：IBM MQ在1KB小消息场景下端到端延迟为0.8ms，仍为行业标杆。...7 结论与建议7.1 选型决策矩阵基于技术评估，提出分场景选型建议：金融核心系统：优先选择东方通TongWeb（事务一致性）或华为FusionSphere（分布式架构），满足高可靠与国密合规要求。...混合架构过渡：采用并行双栈模式，国产中间件与国际产品共存，通过流量灰度逐步切换。生态协同：优先选择已适配本地芯片/OS的中间件，如麒麟OS+飞腾芯片环境优选TongWeb。

4.3K1 1

独家丨数字生态大会专有云干货分享

2021年度腾讯数字生态大会已落下帷幕，专有云产品中心研发总监、专家工程师秦国安，在分布式云会场给大家分享了《腾讯专有云客户专属的分布式云》，让我们回顾一下分享干货吧！...主要把腾讯的计算存储网络和核心的中间件、数据库以独立产品形式交付到客户现场。...4、多行业除了金融和政务以外，又发现了各行各业对专有云的需求。如交通行业有边缘计算的需求，中心在一个栈里，边缘节点分布在各个地铁站中，平时靠中心做计算，边缘节点上报数据，中心下达一些指令等。...目前我们在政务、金融、企业、交通、泛互联网行业，都做了非常多的标杆成功案例，帮助这些客户实现了数字化转型，并且支持他们的商业成功。 04 新的挑战思考未来往哪里走？...同时中国建设银行运营数据中心云产品团队负责人王荔女士也在大会分享了建行云建设经验，从2018年专有云和建行牵手至今，已经建成了11朵云！

6.7K2 0

好的，这份文档是关于腾讯专有云TCE（Tencent Cloud Enterprise）的高可用（High Availability, HA）解决方案，内容非常全面和深入。它详细阐述了TCE如何通过其架构设计、网络、计算、存储、数据层和应用层的各种机制，确保业务的连续性和数据的可靠性。

双AZ部署 (标准模式)：实现同城双活（Active/Active或Active/Standby）。主要组件（CLB, VPCGW, 中间件, 数据库）跨AZ部署保证高可用。...PaaS层高可用设计：消息队列与流式数据引擎： TDMQ-Pulsar (BookKeeper模式)：Broker和Bookie均跨AZ分布式部署。多个副本成功写入才返回，强一致（RPO=0）。...实战案例：展示了TCE的高可用方案在金融（头部农商行双活+仲裁区实现秒级切换，财险/股份制银行双Region/三AZ）、媒体（国家级5G平台）等关键行业的落地效果。...分布式弹性：基于分布式架构的组件（存储、数据库、中间件）在硬件、节点、机柜、AZ各级别故障下自动恢复和重建。简化运维： PaaS服务自带跨AZ高可用性，用户无需关注中间件/数据库层面的高可用配置。...特别是其对数据库（TDSQL）强一致复制和支撑集群（ZK/etcd）仲裁机制的设计，是TCE实现“分钟级切换，零数据丢失”金融级高可用目标的核心技术支柱。

9051 0

腾讯云重构大行金融生产力：基于“一云多芯”与全栈AI的量化实践

分布式云原生PaaS中台：基于微服务框架（TSF）、分布式数据库（TDSQL）、消息中间件（TDMQ）等组件，支撑业务系统实现“单元化”及“跨机房多活”架构落地。...某国有大行（分布式核心重构）：落地“四地、八中心、多活”架构，成功投产客户信息、信用卡、借记卡等核心业务。2023年4月完成信用卡核心下移，并在 2024年11月实现主机应用全部关停。...构筑金融分布式数据库的市占率壁垒在底层核心系统中，腾讯云展现了极高的技术确定性与市场认可度：服务国家级金融基建：腾讯云TDSQL已深入服务国民金融基础设施，支撑央行国库、清算支付查询等核心业务及央行云各类关键应用...市场份额绝对领先：已累计支撑 1,000+家金融机构，稳居中国金融行业分布式事务性数据库市场份额第一（数据来源：IDC《中国金融行业分布式事务性数据库市场份额，2023》）。...节点规模与增速双冠： TDSQL金融物理节点累计部署达 20,000+节点，全行业增速第一（数据来源：IDC《2024年下半年中国关系型数据库软件市场跟踪报告》）。

5821 0

祝贺！中原消金、重庆农商行荣获信通院年度优秀案例

其中，河南中原消费金融股份有限公司（简称“中原消金”）、重庆农村商业银行股份有限公司（简称“重庆农商行”）荣获2024专有云典型案例（容灾方向）。...中原消金中原消金同城双活项目中原消金基于腾讯专有云TCE全栈云解决方案，构建同城双活（含仲裁）高可用生产云平台，为全量业务提供数据中心级云平台IaaS、PaaS服务的高可用容灾切换能力。...重庆农商行重庆农商行金融云平台重庆农商行基于腾讯专有云PaaS平台TCS，建设重庆农商行两地三中心金融级容灾云原生PaaS云平台，打造一体化、分布式云原生PaaS平台，统一技术标准和接入规范，提升研发效率...通过腾讯专有云PaaS平台TCS提供微服务框架TSF和容器服务，结合腾讯云消息中间件TDMQ及Ckafka和缓存中间件Credis等产品，构成重庆农商金融级云原生技术底座，规范行内技术标准和接入规范，构建一体化的监控运维体系...目前腾讯专有云已经在金融、政务、零售、交通、出行、地产、制造等众多行业取得大量成功案例落地，在业界获得了广泛的认可。

9051 0

【演讲实录】下一代企业级应用架构管理体系

本次分享重在讲解企业系统上云后，针对应用级的管控。作者简介：王璞，数人云CEO，为美国George Mason大学计算机博士，擅长分布式计算、大规模机器学习、海量数据处理。...企业级客户的IT状况是什么样的呢？简单来讲，可以概括为：双态并存。 ? 在业务层面，目前企业中既有传统业务，也有互联网的新型业务。...100多次；还有来自证券企业的压力，银行网络支付业务在双11的时候，其IT系统面临发压力都是非常大的，甚至达到指数倍。...1、轻量化这里主要是针对传统的JAVA 中间件应用。应用容器化、架构微服务化，使得企业级应用变得轻量化。...在服务网格下的处理方式是这样的： 1、由于客户端不知道服务端在哪里，因此用简单的方式将请求发送给本地的服务网格实例（的代理）。

2.5K5 0

【金猿信创展】恒生电子——全栈式信创解决方案，助力金融信创行稳致远

核心技术及产品突破 1、分布式微服务中间件Light-JRES Light-JRES是面向金融领域的企业级应用快速开发平台和多系统融合平台，既减轻对基础设施的依赖，又从业务上具备可复用、可扩展、高安全的特性...JRES中间件是实现对通用技术组件的服务化，譬如：分布式缓存、消息队列、分布式事务等等，通过应用共享以及多租户隔离实现技术组件最大程度复用，降低系统的资源消耗让技术组件和业务公共模块下沉，从而做到支持业务的快速创新和迭代...2、分布式低延时中间件Light-LDP Light-LDP是具有集低延时、分布式解耦、灵活开放等特点的开发平台，支持金融机构微秒级业务应用，主要面向券商自营、券商资管以及券商机构业务的策略交易、算法交易...3、金融级分布式数据库LightDB LightDB是一款支持在线事务处理与在线分析处理的融合型分布式数据库，具备SQL兼容性高、容量弹性伸缩、金融级高可用、现代硬件融合、纯内存计算等核心特性，适用于对可用性...LightDB具有“更快、更稳、更懂金融”的企业级特性：采用单机分布式一体化架构，同时支持集中式和分布式部署，在长时间高负载压测下抖动很低；性能方面，在同机房高可用信创软硬件下、单节点进行证券典型订单TPS

2K3 0

IM系统的MQ消息中间件选型：Kafka还是RabbitMQ？

RabbitMQ 是采用 Erlang 语言实现的 AMQP 协议的消息中间件，最初起源于金融系统，用于在分布式系统中存储转发消息。...RocketMQ 是阿里开源的消息中间件，目前已经捐献个 Apache 基金会，它是由 Java 语言开发的，具备高吞吐量、高可用性、适合大规模分布式系统应用等特点，经历过双 11 的洗礼，实力不容小觑...对于消息追踪最通俗的理解就是要知道消息从哪来，存在哪里以及发往哪里去。基于此功能下，我们可以对发送或者消费完的消息进行链路追踪服务，进而可以进行问题的快速定位与排查。...8、具体技术选型指标3：可靠性 + 可用性消息丢失是使用消息中间件时所不得不面对的一个同点，其背后消息可靠性也是衡量消息中间件好坏的一个关键因素。尤其是在金融支付领域，消息可靠性尤为重要。...11、消息中间件选型误区总结在进行消息中间件选型之前可以先问自己一个问题：是否真的需要一个消息中间件？在搞清楚这个问题之后，还可以继续问自己一个问题：是否需要自己维护一套消息中间件？

1.5K2 0

信创产品

2.分布式能力（DMTDD） ·全透明分片：自动拆分数据到多个节点，应用无感知。 ·多活容灾：支持同城双活/异地多活，RTO金融级可靠性）。...3.3 OceanBase OceanBase（蚂蚁集团）是由阿里巴巴/蚂蚁集团自主研发的原生分布式关系数据库，定位为“全球唯一在事务处理和数据分析双领域刷新TPC-C/TPC-H世界纪录”的金融级数据库...3.3.3行业落地标杆领域代表场景规模与价值金融核心支付宝账务系统承载双11峰值61万笔/秒交易，零故障。...东方通TongWeb、金蝶Apusic 支撑Java/Python等应用运行环境消息中间件 IBM MQ 东方通TongLINK/Q、普元Primeton 跨系统异步通信、削峰填谷分布式事务中间件...o特性：集成Kubernetes管理，秒级弹性伸缩 o性能：TPC-C测试超WebLogic 30% 2.Apusic MQ：金融级消息中间件 o特性：支持分布式事务消息，100%兼容IBM MQ协议

5.5K1 0

点击加载更多

腾讯开源万亿级分布式消息中间件 TubeMQ

腾讯万亿级分布式消息中间件TubeMQ正式开源

十万亿条消息背后的故事

腾讯专有云TCE 高可用技术白皮书

选 Redis Stream 还是传统 MQ？——技术选型与场景适配指南

深度解析Apache RocketMQ：从核心原理到实战应用

余额宝技术架构及演进

中间件MQ是什么？

腾讯云金融数字化解决方案：构建高可用、高性能的国产云底座

揭秘：2018阿里双11秒杀背后的技术

腾讯专有云 TCE 高可用技术白皮书

2025年Web中间件技术全景深度对比：国产化替代与智能化演进分析

独家丨数字生态大会专有云干货分享

腾讯云重构大行金融生产力：基于“一云多芯”与全栈AI的量化实践

祝贺！中原消金、重庆农商行荣获信通院年度优秀案例

【演讲实录】下一代企业级应用架构管理体系

【金猿信创展】恒生电子——全栈式信创解决方案，助力金融信创行稳致远

IM系统的MQ消息中间件选型：Kafka还是RabbitMQ？

信创产品

相关资讯

热门标签

活动推荐

运营活动

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐