金融级分布消息中间件双11活动 - 腾讯云开发者社区

文章/答案/技术大牛

发布

腾讯开源万亿级分布式消息中间件 TubeMQ

beMQ 是腾讯在 2013 年自研的分布式消息中间件系统，专注服务大数据场景下海量数据的高性能存储和传输，经过近 7 年上万亿的海量数据沉淀，目前日均接入量超过 25 万亿条。...变更及查询实现了完整的自动化闭环管理，减轻了系统维护的复杂度；服务器侧消费负载均衡 Tube MQ 采用的是服务侧负载均衡的方案，而不是客户端侧操作，提升系统的管控能力同时简化客户端实现，更便于均衡算法升级；系统行级锁操作...对于 Broker 消息读写中存在中间状态的并发操作采用行级锁，避免重复问题； Offset 管理调整 Offset 由各个 Broker 独自管理，ZK 只作数据持久化存储用（最初考虑完全去掉 ZK...依赖，考虑到后续的功能扩展就暂时保留）；消息读取机制的改进 Tube MQ 采用的是消息随机读取模式, 同时为了降低消息时延又增加了内存缓存读写, 对于带 SSD 设备的机器, 增加消息滞后转 SSD...消费时延分级保证、消费限流控制，以及数据拉取频率控制等；系统安全管控根据业务不同的数据服务需要，以及系统运维安全的考虑，Tube MQ 系统增加了 TLS 传输层加密管道，生产和消费服务的认证、授权，以及针对分布式访问控制的访问令牌管理

2.3K6 0

腾讯万亿级分布式消息中间件TubeMQ正式开源

TubeMQ是腾讯在2013年自研的分布式消息中间件系统，专注服务大数据场景下海量数据的高性能存储和传输，经过近7年上万亿的海量数据沉淀，目前日均接入量超过25万亿条。...系统行级锁操作对于Broker消息读写中存在中间状态的并发操作采用行级锁，避免重复问题； 5. ...消息读取机制的改进 Tube MQ采用的是消息随机读取模式,同时为了降低消息时延又增加了内存缓存读写,对于带SSD设备的机器,增加消息滞后转SSD消费的处理，解决消费严重滞后时吞吐量下降以及SSD磁盘容量小...系统安全管控根据业务不同的数据服务需要，以及系统运维安全的考虑，Tube MQ系统增加了TLS传输层加密管道，生产和消费服务的认证、授权，以及针对分布式访问控制的访问令牌管理，满足业务和系统运维在系统安全方面的需求...采用连接复用模式，减少连接资源消耗；通过逻辑分区构造，减少系统对文件句柄数的占用，通过服务器端过滤模式，减少网络带宽资源使用率；通过剥离对Zookeeper的使用，减少Zookeeper的强依赖及瓶颈限制； 11

1.9K7 2

您找到你想要的搜索结果了吗？

是的

没有找到

中间件MQ是什么？

中间件 MQ（消息队列，Message Queue）是一种分布式通信中间件，核心功能是异步传递消息，解决分布式系统中 “服务间解耦、流量削峰、可靠通信” 的问题。...流量削峰（应对突发流量）场景：双 11 零点，10 万 /s 的抢购请求直接打数据库，瞬间压垮。...，纯 Key-Value 存储典型场景订单异步通知、日志收集、流量缓冲商品库存缓存、高频查询加速四、主流 MQ 产品对比（按需选择）产品适用场景优势缺点Kafka高吞吐日志、实时流处理单集群日处理万亿级消息不保证严格顺序...，适合大数据场景RabbitMQ金融级可靠消息、精准路由支持事务、死信队列、ACK 机制吞吐量相对低（万级 /s）RocketMQ阿里系电商、分布式事务分布式事务、消息重试策略社区生态不如 Kafka...✅ 当系统需要异步处理（如注册后发邮件）✅ 当服务间耦合度高（如订单、库存、支付多个系统）✅ 当面临流量波动（如秒杀、大促活动）❌ 不要用 MQ：简单的同步调用（如用户登录验证），反而增加系统复杂

1.9K1 0

蚂蚁金服11.11：支付宝和蚂蚁花呗的技术架构及实践

每年“双11”都是一场电商盛会，消费者狂欢日。今年双11的意义尤为重大，它已经发展成为全世界电商和消费者都参与进来的盛宴。...分布式数据架构支付宝在2015年双十一当天的高峰期间处理支付峰值8.59万笔/秒，已经是国际第一大系统支付。...以下是分布式事务框架的流程图： ? 实现：一个完整的业务活动由一个主业务服务与若干从业务服务组成。主业务服务负责发起并完成整个业务活动。从业务服务提供TCC型业务操作。...在之前的架构中，系统的秒级处理能力无法有效衡量，通过简单的引流压测无法得到更加准确、可信的数据。立足于金融云，系统很快通过全链路压测得到了每秒处理4w笔支付的稳定能力。...为了保证蚂蚁花呗双11期间的授信资金充足，在金融云体系下搭建了机构资产中心，对接支付清算平台，将表内的信贷资产打包形成一个一定期限的资产池，并以这个资产池为基础，发行可交易证券进行融资，即通过资产转让的方式获得充足资金

5.8K6 0

揭秘：2018阿里双11秒杀背后的技术

二、阿里双11背后的技术 ? 1. 云计算利用云计算弹性能力，支撑交易峰值每秒32.5万笔、支付峰值每秒25.6万笔的混合云弹性架构。 2. 分布式消息引擎在双11当天实现万亿级消息流转。 3....物流技术菜鸟通过包裹预测、供应链入库、订单下沉、订单路由调度、电子面单及智能分单，以及末端小件员，涉及十亿级包裹的双11之战。...总之，双11将涉及：基础设施、存储、中间件、云计算、业务架构、大数据、认知计算与人工智能、交互技术等技术领域。...充分利用消息中间件削峰这里有相关的阿里消息中间件(Notify和MetaQ)，以及开源的(ActiveMQ、Kafka等)。...现在对数据库的拆分，都是利用数据库层中间件(淘宝 tddl)，来进行无缝对数据库的侵入设计。除此以外还会涉及到分布式小文件存储以及搜索引擎，以及服务器集群监控等技术。

5.7K3 0

余额宝技术架构及演进

中间层就是采用小型机，其中 KCXP 和 KCBP 是金证公司的消息中间件和业务中间件。往上前端是前置解析是用的 WebLogic，负载均衡用的硬件负载均衡。 ?...另外当年要参加支付宝这边的双 11 活动，以当时的系统处理能力来讲，肯定是做不到的。二期云端架构基于这些原因，需要对一期的系统做优化，怎么优化？...目前来讲应对春节、双11、国庆长假等场景，系统都能稳定应对这些。 ?...比如对于在线交易，可以采用经过阿里支付宝验证过的 OB，专门用于解决金融级的分布式关系数据库的解决方案；对于批量结算，可以继续沿用多年来在余额宝已经用的很娴熟的 RDS 集群。...异步调用异步调用主要靠消息中间件。金融系统对消息中间件的可靠性要求非常高，这块我们还是沿用传统思路，并不想采用开源解决方案去填那些坑，更多考虑采用成熟金融级消息中间件来做这件事情。 ?

1.9K5 0

腾讯专有云TCE 高可用技术白皮书

） #缓存数据库CRedis（二级类目：CloudDB for Redis） #流式消息引擎TDMQ-Kafka（二级类目：TDMQ for CKafka） #消息队列TDMQ-Pulsar...#分布式存储平台（二级类目：三副本冗余存储） #快照备份系统（二级类目：跨区域数据备份）第二章：报告背景和目标报告聚焦政企、金融等关键行业客户对业务连续性的核心诉求，以RTO（业务恢复时间...（双AZ、双AZ+仲裁、三AZ、双Region）的量化高可用方案，实现单AZ故障RTO≈0/RPO=0、地域级故障RPO分钟级，支撑金融、传媒等行业客户数智化转型。...•核心分析模型：“八横四纵”高可用体系（四纵：硬件组件级、节点级、机柜级、AZ级故障容忍；八横：基础设施、网络连接、计算调度、存储、中间件与数据库、微服务框架、应用、管控底座高可用能力）。...•国际性与技术领先：TCE高可用架构获金融客户验证，跻身全球分布式云平台领导者象限；自研产品如TDSQL分布式数据库（强一致跨AZ同步）、TDMQ-Pulsar金融级消息中间件（跨AZ强一致）、CRedis

8581 0

通过双十一等项目实践看架构技术

每年“双 11”都是一场电商盛会，消费者狂欢日。今年双 11 的意义尤为重大，它已经发展成为全世界电商和消费者都参与进来的盛宴。...而对技术人员来说，双十一无疑已经成为一场大考，考量的角度是整体架构、基础中间件、运维工具、人员等。...以下是分布式事务框架的流程图： ? 实现：一个完整的业务活动由一个主业务服务与若干从业务服务组成。主业务服务负责发起并完成整个业务活动。从业务服务提供 TCC 型业务操作。...在之前的架构中，系统的秒级处理能力无法有效衡量，通过简单的引流压测无法得到更加准确、可信的数据。立足于金融云，系统很快通过全链路压测得到了每秒处理 4w 笔支付的稳定能力。...为了保证蚂蚁花呗双 11 期间的授信资金充足，在金融云体系下搭建了机构资产中心，对接支付清算平台，将表内的信贷资产打包形成一个一定期限的资产池，并以这个资产池为基础，发行可交易证券进行融资，即通过资产转让的方式获得充足资金

2.8K3 0

【金猿信创展】恒生电子——全栈式信创解决方案，助力金融信创行稳致远

核心技术及产品突破 1、分布式微服务中间件Light-JRES Light-JRES是面向金融领域的企业级应用快速开发平台和多系统融合平台，既减轻对基础设施的依赖，又从业务上具备可复用、可扩展、高安全的特性...JRES中间件是实现对通用技术组件的服务化，譬如：分布式缓存、消息队列、分布式事务等等，通过应用共享以及多租户隔离实现技术组件最大程度复用，降低系统的资源消耗让技术组件和业务公共模块下沉，从而做到支持业务的快速创新和迭代...2、分布式低延时中间件Light-LDP Light-LDP是具有集低延时、分布式解耦、灵活开放等特点的开发平台，支持金融机构微秒级业务应用，主要面向券商自营、券商资管以及券商机构业务的策略交易、算法交易...3、金融级分布式数据库LightDB LightDB是一款支持在线事务处理与在线分析处理的融合型分布式数据库，具备SQL兼容性高、容量弹性伸缩、金融级高可用、现代硬件融合、纯内存计算等核心特性，适用于对可用性...LightDB具有“更快、更稳、更懂金融”的企业级特性：采用单机分布式一体化架构，同时支持集中式和分布式部署，在长时间高负载压测下抖动很低；性能方面，在同机房高可用信创软硬件下、单节点进行证券典型订单TPS

2K3 0

选 Redis Stream 还是传统 MQ？——技术选型与场景适配指南

在分布式系统架构中，消息队列是解耦服务、削峰填谷的核心组件。...一、架构设计差异：轻量级 vs 企业级Redis Stream 的极简哲学Redis Stream 基于内存存储，采用 Radix Tree 结构组织消息，核心设计包含三个要素：消息日志：按时间顺序追加的持久化记录...传统 MQ 的分布式基因专业 MQ 中间件通过集群架构实现高可用：Kafka：基于 Partition 的水平扩展，单 Topic 支持百万级 TPSRabbitMQ：支持 AMQP 协议的灵活路由（Direct.../Topic/Fanout 交换器）RocketMQ：阿里双 11 验证的金融级消息系统，提供事务消息、定时消息等特性典型场景：电商订单系统使用 RocketMQ 事务消息，确保订单创建与库存扣减的原子性...三、选型决策框架优先选择 Redis Stream 的场景资源受限环境：嵌入式系统或边缘计算节点，无法部署复杂中间件简单解耦需求：通知类消息（如邮件发送、短信推送）实时性敏感：金融交易系统中的实时对账，

9921 0

深度解析Apache RocketMQ：从核心原理到实战应用

Apache RocketMQ作为一款源自阿里、捐献给Apache基金会的开源消息中间件，凭借其金融级可靠性、丰富的功能特性及优秀的性能表现，已成为互联网、金融、电商等领域的主流选择。...其设计目标是打造一款“金融级可靠、高吞吐、低延迟、功能丰富”的消息中间件，既满足普通业务的异步通信需求，也能支撑金融交易、电商订单等对一致性要求极高的核心场景。...Master-Slave模式（同步双写）：每个Master配置一个Slave，数据同步双写，需主备均写入成功才返回发送成功，适用于金融级核心场景。...RabbitMQ 核心定位金融级消息中间件，平衡可靠与性能分布式流处理平台，高吞吐优先企业级消息代理，灵活路由优先吞吐量高（接近Kafka，十万级TPS）极高（百万级TPS，大数据首选）...九、总结 Apache RocketMQ凭借其金融级可靠性、丰富的高级特性、简洁的架构设计及云原生演进能力，已成为分布式系统中核心的消息中间件选择。

1.1K1 0

CKafka系列学习文章 - 对比RabbitMQ、RocketMQ、TDMQ-CMQ、kafka和Ckafka（二）

万QPS 读写12万QPS 同步算法 ISR（Replica） ISR（Replica） GM 同步双写 Raft 可用性可用性很高，主从自动切换，腾讯云消息服务承诺可用性99.95% 可用性高，主从自动切换...，故障情况极少发生可靠性低；Broker 只有异步刷盘机制并主备只有异步复制，可能会导致丢失部分消息可靠性高；发送消息时，指定消息为持久化就会写入到磁盘可靠性高；Broker 同步双写，主备都写成功才返回成功...Ckafka和CMQ都作为消息中间件都支持集群部署、高吞吐量、强一致等特性，那这两款产品最主要的区别是什么，分别更适合哪些场景使用？...在这些地方，Ckafka非常好用实时处理网站活动（PV，搜索，用户其他活动等）完美的“日志收集中心” 大数据入口和连接器 image.png 2、TDMQ-CMQ 消息队列 CMQ 版（TDMQ...for CMQ，简称 TDMQ CMQ 版）是一种分布式消息队列服务，它具有可靠的、基于消息的异步通信机制，能够将分布式部署的不同应用（或同一应用的不同组件）中的信息传递，存储在可靠有效的消息队列中，防止消息丢失

6.2K7 4

余军：分布式数据库在金融行业的创新实践

Google Spanner F1 - 第一个真正意义上 NewSQL 数据库全球级分布式关系型数据库，数十万机器组成一个超大的数据库集群。...基于 2014 年 Stanford 工业级分布式一致性协议实现 Raft 博士论文，已成为事实工业标准。...OLTP - 直销金融：营销活动平台 TiDB 的解决之道：面向业务应用侧，完全采用了兼容 MySQL 的协议，应用迁移低成本，低风险，且迁移周期极短，满足了用户的周活动间隔的变更窗口要求。...OLAP - 交易监控：实时交易监察与监控平台 TiDB 的解决之道：利用消息中间件，将交易系统的交易记录和撮合日志，流式写入 TiDB，利用 TiDB 的分布式存储，高性能数据写入和弹性存储。...OLAP - 风控：实时风控 TiDB 的解决之道：风控数据通过信息中间件双写Hive/Hadoop（历史库/历史分析） TiDB的分布式存储引擎架构，非常轻松地应对海量风控数据的导入，存储和查询处理

2.6K10 2

鹅厂中间件产品遭遇暴风吐槽！

为了更好地服务使用微服务架构进行软件设计的企业，腾讯云中间件产品基于腾讯在微服务、消息队列领域多年的技术积累，提供了功能强大、兼容并包、生态开放的云原生分布式微服务解决方案和消息队列服务。...全方位打造出7款优秀产品：微服务平台 TSF、消息队列 CKafka、金融级消息队列 TDMQ、微服务观测平台 TSW、弹性微服务 TEM、微服务引擎 TSE、分布式事务 DTF，全面布局云原生领域产品矩阵...经过多年匠心打磨，腾讯中间件产品已在金融、政府、能源、制造业等行业得到了大规模的应用，但是用户在使用的过程中，到底是什么感受呢？...为了打造用户更为喜爱的技术产品，TVP 首创了技术圈吐槽形式的活动—— TVP 吐槽大会。...腾讯云微服务和消息队列产品，面对疾风吧！各位产品大大请接招！往期推荐《头条！Tencent Kona JDK11 正式开源，提升 50% 峰值性能！》

1.1K2 0

腾讯云金融数字化解决方案：构建高可用、高性能的国产云底座

腾讯云全栈国产化解决方案实现架构升级针对银行核心场景，腾讯云提供基于TDSQL分布式数据库的单元化架构方案。该方案采用"同城双活+异地灾备"部署模式，通过数据强同步机制确保RPO=0。...TDSQL支持MySQL/PostgreSQL双引擎，提供分布式事务处理能力，SQL兼容度达99%以上。...同时基于TCE专有云平台构建一体化云原生PaaS能力，集成微服务框架TSF、消息中间件TDMQ等组件。...核心业务系统性能实现数量级提升性能提升：上海银行新会计核算系统日终结账时间下降60%；湖州银行核心系统业务处理能力提升10倍，代发速度提升11倍成本优化：平安银行信用卡核心系统数据库成本降至原Oracle...国有大行基于TCE构建的超大规模金融云节点超6万，支撑业务年增长300%。大数据平台TBDS支持PB级数据处理，太平人寿数据查询时效从小时级提升至5分钟。

3421 0

实战分享：activemq 在灾备双活建设中的研究

由于 activemq 承担着消息服务的重要角色，在这篇文章中我们重点讲述在灾备双活建设中 activemq 设计、规划、部署。...目标灾备双活建设最完美的架构设计：在同城、异地 2 个数据中心，在最极端情况下，例如单数据中心垮掉情况下，保证消息零丢失，支持 7*24 服务要求。...3) 服务影响正常情况下，对于客户端的连接平均分布在两个机房中，出现单个机房故障后，连接在故障机房中的连接会断开，正在执行未提交的事务将会回滚，对于发起的新连接不受任何影响，依然可以通过配置的负载策略访问正常机房中的消息中间件服务...活动预告云南的朋友们有福利了，云和恩墨大讲堂-云南站，将于 8.31（下周五）在昆明举办。...同时结合 Broker-Cluster，Broker-Cluster 的部署方式可以解决负载均衡和分布式问题，因为单一主从方式无法解决负载均衡的问题。 ● 如何保证未消费消息在各个节点间的同步？

2.5K1 0

腾讯云消息队列 TDMQ Pulsar 版商业化首发｜持续提供高性能、强一致的消息服务

导语 2021年12月1日，腾讯云分布式消息队列 TDMQ Pulsar 版正式商业化。...金融级分布式消息中间件消息队列 TDMQ Pulsar 版是一款基于 Apache Pulsar 自研的金融级分布式消息中间件，具备高一致、高可靠、高并发特性，可为分布式应用系统提供异步解耦和削峰填谷的能力...TDMQ Pulsar 版是一款经历了3年千亿级交易流水考验的消息队列，也是目前真正做到计算与存储分离的云消息队列，从架构上实现了云原生无状态，更加迎合Serverless的趋势。...削峰填谷企业不定时举办的一些营销活动，如新品发布上线，节日抢红包等，往往都会带来临时性的流量洪峰，这对后端的各个应用系统考验是十分巨大的，如果直接采用扩容方式应对又会带来一定的资源浪费。...截至2021年11月底，消息队列 TDMQ Pulsar 版已有上百家活跃的企业用户。

2K3 0

腾讯专有云 TCE 高可用技术白皮书

第五章：核心观点 1. “3+3+2”仲裁部署架构是解决金融级高可用的核心方案针对传统双AZ部署在故障切换时需要人工介入导致RTO过长的问题，TCE提出了“双AZ+仲裁区”模式。...• 中间件：TDMQ-Pulsar采用存算分离架构，支持跨AZ部署，极端情况下可保证消息零丢失。 • 计算层：支持CVM热迁移，在宿主机轻度故障时，迁移过程业务感知RTO几乎为0。 3....经过万亿级金融业务验证的同源技术架构腾讯专有云TCE采用与腾讯公有云完全同源的技术架构，其高可用能力直接继承自微信支付、理财通等承载万亿级金融业务的实战经验。...在某头部农商银行案例中，TCE成功构建了国内首个同城三AZ（双活+仲裁）金融云平台，将业务恢复时间（RTO）压缩至2分钟级别，同时确保核心数据RPO=0，树立了金融分布式云架构的新标杆。 3....特别是其自研的TDSQL数据库和TDMQ消息队列，能够原生支持跨AZ的强一致性数据同步，使得企业无需修改应用代码即可获得金融级的高可用保障。 4.

8541 0

2025年Web中间件技术全景深度对比：国产化替代与智能化演进分析

1 引言：中间件的定义与2025年技术背景Web中间件作为现代分布式系统的核心基础设施，在操作系统与应用软件之间构建了关键的连接层，有效屏蔽底层技术复杂性，为分布式应用提供标准化接口和公共服务（如通信、...其核心优势体现在：事务处理能力（支持XA分布式事务）、企业级负载均衡（动态集群扩展）和全球运维支持体系。...消息中间件时延：IBM MQ在1KB小消息场景下端到端延迟为0.8ms，仍为行业标杆。...7 结论与建议7.1 选型决策矩阵基于技术评估，提出分场景选型建议：金融核心系统：优先选择东方通TongWeb（事务一致性）或华为FusionSphere（分布式架构），满足高可靠与国密合规要求。...混合架构过渡：采用并行双栈模式，国产中间件与国际产品共存，通过流量灰度逐步切换。生态协同：优先选择已适配本地芯片/OS的中间件，如麒麟OS+飞腾芯片环境优选TongWeb。

4.3K1 1

探索 RocketMQ：企业级消息中间件的选择与应用

探索 RocketMQ：企业级消息中间件的选择与应用一、关于RocketMQRocketMQ 是一个高性能、高可靠、可扩展的分布式消息中间件，它是由阿里巴巴开发并贡献给 Apache 软件基金会的一个开源项目...RocketMQ作为一款纯java、分布式、队列模型的开源消息中间件，支持事务消息、顺序消息、批量消息、定时消息、消息回溯等，总之就是葛大爷的一句话。‍‍‍...由于传统的消息队列无法承受亿级用户的访问流量和海量数据传输，诞生了互联网消息中间件，核心能力是全面采用分布式架构、具备很强的横向扩展能力，开源典型代表有 Kafka、RocketMQ，闭源的还有淘宝 Notify...2012年：阿里巴巴开源其自研的第三代分布式消息中间件——RocketMQ。经过几年的技术打磨，阿里称基于RocketMQ技术，目前双十一当天消息容量可达到万亿级。...RocketMQ 支持事务消息（Transaction Message），能够确保分布式事务的准确性，适合在银行、电商金融、支付系统中进行实时交易消息处理。

1.3K1 0

点击加载更多

腾讯开源万亿级分布式消息中间件 TubeMQ

腾讯万亿级分布式消息中间件TubeMQ正式开源

中间件MQ是什么？

蚂蚁金服11.11：支付宝和蚂蚁花呗的技术架构及实践

揭秘：2018阿里双11秒杀背后的技术

余额宝技术架构及演进

腾讯专有云TCE 高可用技术白皮书

通过双十一等项目实践看架构技术

【金猿信创展】恒生电子——全栈式信创解决方案，助力金融信创行稳致远

选 Redis Stream 还是传统 MQ？——技术选型与场景适配指南

深度解析Apache RocketMQ：从核心原理到实战应用

CKafka系列学习文章 - 对比RabbitMQ、RocketMQ、TDMQ-CMQ、kafka和Ckafka（二）

余军：分布式数据库在金融行业的创新实践

鹅厂中间件产品遭遇暴风吐槽！

腾讯云金融数字化解决方案：构建高可用、高性能的国产云底座

实战分享：activemq 在灾备双活建设中的研究

腾讯云消息队列 TDMQ Pulsar 版商业化首发｜持续提供高性能、强一致的消息服务

腾讯专有云 TCE 高可用技术白皮书

2025年Web中间件技术全景深度对比：国产化替代与智能化演进分析

探索 RocketMQ：企业级消息中间件的选择与应用

相关资讯

热门标签

活动推荐

运营活动

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐