首页
学习
活动
专区
圈层
工具
发布

腾讯开源万亿级分布式消息中间件 TubeMQ

beMQ 是腾讯在 2013 年自研的分布式消息中间件系统,专注服务大数据场景下海量数据的高性能存储和传输,经过近 7 年上万亿的海量数据沉淀,目前日均接入量超过 25 万亿条。...9 月 12 日,腾讯在 ApacheCon 宣布 TubeMQ 开源。...变更及查询实现了完整的自动化闭环管理,减轻了系统维护的复杂度; 服务器侧消费负载均衡 Tube MQ 采用的是服务侧负载均衡的方案,而不是客户端侧操作,提升系统的管控能力同时简化客户端实现,更便于均衡算法升级; 系统行级锁操作...对于 Broker 消息读写中存在中间状态的并发操作采用行级锁,避免重复问题; Offset 管理调整 Offset 由各个 Broker 独自管理,ZK 只作数据持久化存储用(最初考虑完全去掉 ZK...依赖,考虑到后续的功能扩展就暂时保留); 消息读取机制的改进 Tube MQ 采用的是消息随机读取模式, 同时为了降低消息时延又增加了内存缓存读写, 对于带 SSD 设备的机器, 增加消息滞后转 SSD

2.3K60

腾讯万亿级分布式消息中间件TubeMQ正式开源

TubeMQ是腾讯在2013年自研的分布式消息中间件系统,专注服务大数据场景下海量数据的高性能存储和传输,经过近7年上万亿的海量数据沉淀,目前日均接入量超过25万亿条。...TubeMQ 捐赠 Apache 基金会 9月12日,Apache软件基金会成立20周年之际,腾讯在ApacheCon宣布TubeMQ 开源。...系统行级锁操作 对于Broker消息读写中存在中间状态的并发操作采用行级锁,避免重复问题; 5. ...消息读取机制的改进 Tube MQ采用的是消息随机读取模式,同时为了降低消息时延又增加了内存缓存读写,对于带SSD设备的机器,增加消息滞后转SSD消费的处理,解决消费严重滞后时吞吐量下降以及SSD磁盘容量小...系统安全管控 根据业务不同的数据服务需要,以及系统运维安全的考虑,Tube MQ系统增加了TLS传输层加密管道,生产和消费服务的认证、授权,以及针对分布式访问控制的访问令牌管理,满足业务和系统运维在系统安全方面的需求

1.9K72
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    腾讯云数据库携手天阳,共建国产新生态

    近日,天阳信用卡新一代核心产品CreditX完成了与腾讯云分布式数据库TDSQL的适配性测试,并基于双深度融合,推出“金融零售核心CreditX+分布式数据库TDSQL”的新一代分布式信用卡核心产品联合解决方案...CreditX整体技术架构与腾讯云整体解决方案全面融合:其中PaaS平台采用腾讯蓝鲸平台进行CI/CD持续集成及部署,以及统一运维;数据库采用TDSQL;消息服务组件使用腾讯云消息队列CMQ。...此次联合方案中的TDSQL是腾讯云企业级分布式关系型数据库品牌,旗下涵盖金融级分布式、云原生、分析型等多引擎融合的完整数据库产品体系,提供业界领先的金融级高可用、计算存储分离、数据仓库等能力,同时具备智能运维平台...其中TDSQL金融级分布式引擎,具备线性可扩展、海量吞吐、高性能、数据强一致、99.999%高可用、企业级安全等特性,服务了微众银行、平安银行、数字广东等广大金融政企机构,包括近半国内TOP 20银行客户等...国产数据库,中标哪家强? ↓↓一年19.9特惠云数据库点这儿~

    8.6K30

    腾讯专有云TCE 高可用技术白皮书

    ) #缓存数据库CRedis(二级类目:CloudDB for Redis) #流式消息引擎TDMQ-Kafka(二级类目:TDMQ for CKafka) #消息队列TDMQ-Pulsar...#分布式存储平台(二级类目:三副本冗余存储) #快照备份系统(二级类目:跨区域数据备份) 第二章:报告背景和目标 报告聚焦政企、金融等关键行业客户对业务连续性的核心诉求,以RTO(业务恢复时间...(双AZ、双AZ+仲裁、三AZ、双Region)的量化高可用方案,实现单AZ故障RTO≈0/RPO=0、地域级故障RPO分钟级,支撑金融、传媒等行业客户数智化转型。...•核心分析模型:“八横四纵”高可用体系(四纵:硬件组件级、节点级、机柜级、AZ级故障容忍;八横:基础设施、网络连接、计算调度、存储、中间件与数据库、微服务框架、应用、管控底座高可用能力)。...•国际性与技术领先:TCE高可用架构获金融客户验证,跻身全球分布式云平台领导者象限;自研产品如TDSQL分布式数据库(强一致跨AZ同步)、TDMQ-Pulsar金融级消息中间件(跨AZ强一致)、CRedis

    85410

    祝贺!中原消金、重庆农商行荣获信通院年度优秀案例

    2024年12月20日,由中国信息通信研究院(简称“中国信通院”)在京举办了“央国企上云高质量发展沙龙”主题大会。...中原消金 中原消金同城双活项目 中原消金基于腾讯专有云TCE全栈云解决方案,构建同城双活(含仲裁)高可用生产云平台,为全量业务提供数据中心级云平台IaaS、PaaS服务的高可用容灾切换能力。...重庆农商行 重庆农商行金融云平台 重庆农商行基于腾讯专有云PaaS平台TCS,建设重庆农商行两地三中心金融级容灾云原生PaaS云平台,打造一体化、分布式云原生PaaS平台,统一技术标准和接入规范,提升研发效率...通过腾讯专有云PaaS平台TCS提供微服务框架TSF和容器服务,结合腾讯云消息中间件TDMQ及Ckafka和缓存中间件Credis等产品,构成重庆农商金融级云原生技术底座,规范行内技术标准和接入规范,构建一体化的监控运维体系...目前腾讯专有云已经在金融、政务、零售、交通、出行、地产、制造等众多行业取得大量成功案例落地,在业界获得了广泛的认可。

    90510

    选 Redis Stream 还是传统 MQ?——技术选型与场景适配指南

    在分布式系统架构中,消息队列是解耦服务、削峰填谷的核心组件。...一、架构设计差异:轻量级 vs 企业级Redis Stream 的极简哲学Redis Stream 基于内存存储,采用 Radix Tree 结构组织消息,核心设计包含三个要素:消息日志:按时间顺序追加的持久化记录...传统 MQ 的分布式基因专业 MQ 中间件通过集群架构实现高可用:Kafka:基于 Partition 的水平扩展,单 Topic 支持百万级 TPSRabbitMQ:支持 AMQP 协议的灵活路由(Direct.../Topic/Fanout 交换器)RocketMQ:阿里双 11 验证的金融级消息系统,提供事务消息、定时消息等特性典型场景:电商订单系统使用 RocketMQ 事务消息,确保订单创建与库存扣减的原子性...三、选型决策框架优先选择 Redis Stream 的场景资源受限环境:嵌入式系统或边缘计算节点,无法部署复杂中间件简单解耦需求:通知类消息(如邮件发送、短信推送)实时性敏感:金融交易系统中的实时对账,

    99210

    CKafka系列学习文章 - 对比RabbitMQ、RocketMQ、TDMQ-CMQ、kafka和Ckafka(二)

    万QPS 读写12万QPS 同步算法 ISR(Replica) ISR(Replica) GM 同步双写 Raft 可用性 可用性很高,主从自动切换,腾讯云消息服务承诺可用性99.95% 可用性高,主从自动切换...可用性很高,Broker 中存在2节点即可提供高可用服务 消费方式 拉取方式 拉取方式 拉取和推送方式 拉取和推送方式 拉取和推送方式 消息可靠性 可靠性较高;可通过三副本方式提升可靠性,集群容灾性能好...,故障情况极少发生 可靠性低;Broker 只有异步刷盘机制并主备只有异步复制,可能会导致丢失部分消息 可靠性高;发送消息时,指定消息为持久化就会写入到磁盘 可靠性高;Broker 同步双写,主备都写成功才返回成功...Ckafka和CMQ都作为消息中间件都支持集群部署、高吞吐量、强一致等特性,那这两款产品最主要的区别是什么,分别更适合哪些场景使用?...for CMQ,简称 TDMQ CMQ 版)是一种分布式消息队列服务,它具有可靠的、基于消息的异步通信机制,能够将分布式部署的不同应用(或同一应用的不同组件)中的信息传递,存储在可靠有效的消息队列中,防止消息丢失

    6.2K74

    2025年Web中间件技术全景深度对比:国产化替代与智能化演进分析

    1 引言:中间件的定义与2025年技术背景Web中间件作为现代分布式系统的核心基础设施,在操作系统与应用软件之间构建了关键的连接层,有效屏蔽底层技术复杂性,为分布式应用提供标准化接口和公共服务(如通信、...其核心优势体现在:事务处理能力(支持XA分布式事务)、企业级负载均衡(动态集群扩展)和全球运维支持体系。...消息中间件时延:IBM MQ在1KB小消息场景下端到端延迟为0.8ms,仍为行业标杆。...7 结论与建议7.1 选型决策矩阵基于技术评估,提出分场景选型建议:金融核心系统:优先选择东方通TongWeb(事务一致性)或华为FusionSphere(分布式架构),满足高可靠与国密合规要求。...混合架构过渡:采用并行双栈模式,国产中间件与国际产品共存,通过流量灰度逐步切换。生态协同:优先选择已适配本地芯片/OS的中间件,如麒麟OS+飞腾芯片环境优选TongWeb。

    4.3K11

    信创产品

    技术架构 支持集中式(DM8)与分布式(DMTDD)双引擎,适应不同场景。...2.分布式能力(DMTDD) ·全透明分片:自动拆分数据到多个节点,应用无感知。 ·多活容灾:支持同城双活/异地多活,RTO金融级可靠性)。...3.3 OceanBase OceanBase(蚂蚁集团)是由阿里巴巴/蚂蚁集团自主研发的原生分布式关系数据库,定位为“全球唯一在事务处理和数据分析双领域刷新TPC-C/TPC-H世界纪录”的金融级数据库...东方通TongWeb、金蝶Apusic 支撑Java/Python等应用运行环境 消息中间件 IBM MQ 东方通TongLINK/Q、普元Primeton 跨系统异步通信、削峰填谷 分布式事务中间件...o特性:集成Kubernetes管理,秒级弹性伸缩 o性能:TPC-C测试超WebLogic 30% 2.Apusic MQ:金融级消息中间件 o特性:支持分布式事务消息,100%兼容IBM MQ协议

    5.5K10

    深度解析Apache RocketMQ:从核心原理到实战应用

    Apache RocketMQ作为一款源自阿里、捐献给Apache基金会的开源消息中间件,凭借其金融级可靠性、丰富的功能特性及优秀的性能表现,已成为互联网、金融、电商等领域的主流选择。...其设计目标是打造一款“金融级可靠、高吞吐、低延迟、功能丰富”的消息中间件,既满足普通业务的异步通信需求,也能支撑金融交易、电商订单等对一致性要求极高的核心场景。...Master-Slave模式(同步双写):每个Master配置一个Slave,数据同步双写,需主备均写入成功才返回发送成功,适用于金融级核心场景。...RabbitMQ 核心定位 金融级消息中间件,平衡可靠与性能 分布式流处理平台,高吞吐优先 企业级消息代理,灵活路由优先 吞吐量 高(接近Kafka,十万级TPS) 极高(百万级TPS,大数据首选)...九、总结 Apache RocketMQ凭借其金融级可靠性、丰富的高级特性、简洁的架构设计及云原生演进能力,已成为分布式系统中核心的消息中间件选择。

    1.1K10

    腾讯专有云 TCE 高可用技术白皮书

    第五章:核心观点 1. “3+3+2”仲裁部署架构是解决金融级高可用的核心方案 针对传统双AZ部署在故障切换时需要人工介入导致RTO过长的问题,TCE提出了“双AZ+仲裁区”模式。...• 中间件:TDMQ-Pulsar采用存算分离架构,支持跨AZ部署,极端情况下可保证消息零丢失。 • 计算层:支持CVM热迁移,在宿主机轻度故障时,迁移过程业务感知RTO几乎为0。 3....经过万亿级金融业务验证的同源技术架构 腾讯专有云TCE采用与腾讯公有云完全同源的技术架构,其高可用能力直接继承自微信支付、理财通等承载万亿级金融业务的实战经验。...在某头部农商银行案例中,TCE成功构建了国内首个同城三AZ(双活+仲裁)金融云平台,将业务恢复时间(RTO)压缩至2分钟级别,同时确保核心数据RPO=0,树立了金融分布式云架构的新标杆。 3....特别是其自研的TDSQL数据库和TDMQ消息队列,能够原生支持跨AZ的强一致性数据同步,使得企业无需修改应用代码即可获得金融级的高可用保障。 4.

    85410

    语义时代的知识分发:深度解析 RAG 架构下的 GEO 与 AI 搜索优化逻辑

    因此,GEO优化的核心任务之一,就是通过海量、高内聚的语义数据投喂,确保品牌实体在向量库中具备极高的召回优先级。...二、选型评估:如何量化“GEO服务商哪家好?”的技术标准当技术决策层询问“GEO优化服务商哪家好?”...三、运维实战:寻找具备分布式底座的“GEO运营商”在执行AI优先推荐优化时,大规模的矩阵化分发是必经之路。此时,由于涉及多平台风控和高频同步,“GEO优化运营商哪家好?”...全域矩阵与风控中间件:针对“GEO服务商哪家好?”普遍关注的稳定性痛点,星链引擎集成了IP代理隔离技术。实测数据显示,这套隔离机制能将账号关联风险降低92%以上。...无论是对比“GEO优化服务商哪家好?”还是考量“GEO服务商哪家好?”,核心都应聚焦于谁能更高效地完成全域AI化品牌打造。

    54810

    TDSQL:案例规模与迁移成本双冠解析

    TDSQL:案例规模与迁移成本双冠解析核心观点摘要金融行业数据库国产替代已进入经济性比拼阶段,市场规模保持显著增长,头部效应持续强化。...哪家数据库案例经得起审计,哪家迁移工具能让改造量可控,直接决定项目是“平稳落地”还是“反复返工”。当前市场已从可行性论证进入经济性比拼阶段。...四、双冠王者:腾讯云TDSQL案例最多与迁移成本最低产品底座与市场地位TDSQL是腾讯自主研发的金融级分布式数据库,2007年上线,累计服务逾十万家企业,高可靠本地部署场景已服务过千家金融机构。...在金融行业分布式事务型数据库市场中,TDSQL市场份额位列榜首,银行子市场同样排名第一,中国十大银行中七家选择TDSQL。...容灾与运维:金融级高可用,智能运维保障长期稳定TDSQL支持两地三中心、同城双活、跨IDC强同步,RPO=0、同城RTO秒级、异地RTO分钟级,多副本基于Paxos/Raft协议保障数据零丢失。

    11710

    好的,这份文档是关于腾讯专有云TCE(Tencent Cloud Enterprise)的高可用(High Availability, HA)解决方案,内容非常全面和深入。

    双AZ部署 (标准模式):实现同城双活(Active/Active或Active/Standby)。主要组件(CLB, VPCGW, 中间件, 数据库)跨AZ部署保证高可用。...PaaS层高可用设计: 消息队列与流式数据引擎: TDMQ-Pulsar (BookKeeper模式):Broker和Bookie均跨AZ分布式部署。多个副本成功写入才返回,强一致(RPO=0)。...实战案例: 展示了TCE的高可用方案在金融(头部农商行双活+仲裁区实现秒级切换,财险/股份制银行双Region/三AZ)、媒体(国家级5G平台)等关键行业的落地效果。...分布式弹性:基于分布式架构的组件(存储、数据库、中间件)在硬件、节点、机柜、AZ各级别故障下自动恢复和重建。 简化运维: PaaS服务自带跨AZ高可用性,用户无需关注中间件/数据库层面的高可用配置。...特别是其对数据库(TDSQL)强一致复制和支撑集群(ZK/etcd)仲裁机制的设计,是TCE实现“分钟级切换,零数据丢失”金融级高可用目标的核心技术支柱。

    90510

    【TEGer 在全球架构师峰会】 : 腾讯企业级消息中间件 CMQ 技术解密

    目前专注于于分布式服务开发与治理平台TSF的建设。 大规模分布式系统的快速发展使得消息中间件已经成为系统间通信的核心手段。...本文将对腾讯TEG基础架构部中间件团队研发的企业级消息中间件CMQ原理进行分享介绍。...中间件团队消息队列发展历程: [3631gssrfr.png] CMQ/CKafka/MQ for IoT本质上都属于分布式消息中间件,分布式消息系统的最大特点是可扩展性。...3.Module是根据系统行为提前定义好的正确性验证模型,Checker结合Module分析history输出测试报告。...总结 本文主要腾讯基础架构部消息中间件发展历程进行简要介绍,重点对金融级消息中间件CMQ核心原理进行分享,除此之外,中间件团队针对大数据领域常用的kafka进行优化改进推出了CKafka,在相同条件下小于

    2.7K91

    消息中间件选型

    万级 十万级 万级 时效性 ms级以内 us(微秒)级 ms级 ms级 可用性 非常高(分布式架构) 高(主从架构) 非常高(分布式架构) 高(主从架构) 功能特性 只支持主要的 MQ功能,像一些消息查询...并发能力很强,性能及其好,延迟极低,管理界面丰富 MQ功能比较完备,扩展性强 成熟的产品,在很多公司得到应用,有很多成熟的文档,支持各种协议 一、中间件选型 ---- Kafka Kafka 是 LinkedIn...号称大数据的杀手锏,谈到大数据领域内的消息传输,则绕不开Kafka,这款为大数据而生的消息中间件,以其百万级TPS(单机写入TPS约在百万条/秒**)**的吞吐量名声大噪,迅速成为大数据领域的宠儿,在数据采集...RocketMQ RocketMQ是阿里开源的消息中间件,它是纯 Java开发,具有高吞吐量、高可用性、适合大规模分布式系统应用的特点。...消息可靠性非常高,经过参数优化配置,消息可以做到0丢失。MQ功能较为完善,还是分布式的,扩展性好。支持10亿级别的消息堆积,不会因为堆积导致性能下降。

    2.4K20

    【金猿信创展】恒生电子——全栈式信创解决方案,助力金融信创行稳致远

    核心技术及产品突破 1、分布式微服务中间件Light-JRES Light-JRES是面向金融领域的企业级应用快速开发平台和多系统融合平台,既减轻对基础设施的依赖,又从业务上具备可复用、可扩展、高安全的特性...JRES中间件是实现对通用技术组件的服务化,譬如:分布式缓存、消息队列、分布式事务等等,通过应用共享以及多租户隔离实现技术组件最大程度复用,降低系统的资源消耗让技术组件和业务公共模块下沉,从而做到支持业务的快速创新和迭代...2、分布式低延时中间件Light-LDP Light-LDP是具有集低延时、分布式解耦、灵活开放等特点的开发平台,支持金融机构微秒级业务应用,主要面向券商自营、券商资管以及券商机构业务的策略交易、算法交易...3、金融级分布式数据库LightDB LightDB是一款支持在线事务处理与在线分析处理的融合型分布式数据库,具备SQL兼容性高、容量弹性伸缩、金融级高可用、现代硬件融合、纯内存计算等核心特性,适用于对可用性...LightDB具有“更快、更稳、更懂金融”的企业级特性:采用单机分布式一体化架构,同时支持集中式和分布式部署,在长时间高负载压测下抖动很低;性能方面,在同机房高可用信创软硬件下、单节点进行证券典型订单TPS

    2K30

    从索引到知识蒸馏:解析生成式搜索时代的语义权重与信任对齐

    二、选型评估:技术视角下的“GEO优化服务商哪家好?”当我们在企业内讨论“GEO优化服务商哪家好?”或者“GEO优化运营商哪家好?”时,核心应聚焦于其对AI搜索优化底层逻辑的理解深度。...三、运维挑战:寻找高鲁棒性的“GEO运营方案”在执行AI优先推荐优化的过程中,大规模的内容矩阵分发面临着严苛的分布式风控挑战。这直接关联到我们在筛选“GEO优化运营商哪家好?”...时的运维考量:分布式网络隔离:优秀的运营商需具备模拟真实用户环境的隔离技术,防止矩阵账号因指纹关联被识别为异常,从而保障AI搜索优化成果的长期稳定性。全时监测与闭环:评估“GEO运营商哪家好?”...矩阵风控中间件:针对“GEO优化服务商哪家好?”普遍关注的账号安全问题,星链引擎集成了IP代理隔离技术,实测能有效降低账号关联风险。这种分布式隔离架构,为企业构建了较为稳定的AI搜索优化通道。...无论是横向对比“GEO优化服务商哪家好?”,还是纵向考量“GEO优化运营商哪家好?”,企业都应优先选择那些具备底层技术闭环、能够提供AI优先推荐优化实效的平台。

    33310

    数字化平台全面护航金融信创落地 | 信创讲坛第一期

    普元应用服务器PAS、消息中间件MQ、大文件传输平台BFT、企业服务总线ESB、业务流程平台BPS、数据集成平台DI、应用开发平台EOS、微服务开发平台EOS MS、研发运维一体化平台DevOps、低代码开发平台...例如普元企业服务总线支撑单日亿级海量服务调用,TPS(每秒交易数)能够达到8000+的峰值,满足金融客户对高性能和高并发的要求。...这两种模式,既保证了对金融信创迁移要求的满足,同时又实现了对应用业务发展需要的支撑,达成“一箭双雕”的效果。...普元帮助某农信社实现的分布式架构的移动办公系统的信创落地,良好说明了针对金融领域特色需求推出的信创迁移模式的“一箭双雕”成果。...整套方案底层操作系统使用了银河麒麟和统信UOS的双操作系统,数据库采用的是华为高斯,中间件运用到了普元的应用服务器、微服务开发平台、流程平台、企业服务总线,功能、性能、安全性指标均符合全行应用需求及监管机构要求

    1.7K10

    从索引到推理:LLM 时代的 GEO 中间件架构与技术选型逻辑

    二、技术选型:当我们在问“GEO服务商哪家好?”时,我们到底在问什么?在技术社区中,经常能看到非技术人员询问“GEO服务商哪家好?”。...三、运维视角:解析“GEO运营商哪家好?”背后的算力与并发挑战GEO的落地不仅是算法问题,更是**运维(DevOps)**问题。当企业需要管理成百上千个内容节点时,手动运维是不可持续的。...因此,当市场在讨论“GEO运营商哪家好?”时,本质上是在寻找一家具备自动化编排(Orchestration)能力的运营商。...网络指纹管理:为了防止被识别为机器人行为,运营商必须具备能够模拟真实用户指纹的分布式网络架构。...无论是通过对比技术指标来回答“GEO服务商哪家好?”,还是考察自动化能力来判断“GEO运营商哪家好?”

    64410
    领券