首页
学习
活动
专区
圈层
工具
发布

腾讯开源万亿级分布式消息中间件 TubeMQ

beMQ 是腾讯在 2013 年自研的分布式消息中间件系统,专注服务大数据场景下海量数据的高性能存储和传输,经过近 7 年上万亿的海量数据沉淀,目前日均接入量超过 25 万亿条。...变更及查询实现了完整的自动化闭环管理,减轻了系统维护的复杂度; 服务器侧消费负载均衡 Tube MQ 采用的是服务侧负载均衡的方案,而不是客户端侧操作,提升系统的管控能力同时简化客户端实现,更便于均衡算法升级; 系统行级锁操作...对于 Broker 消息读写中存在中间状态的并发操作采用行级锁,避免重复问题; Offset 管理调整 Offset 由各个 Broker 独自管理,ZK 只作数据持久化存储用(最初考虑完全去掉 ZK...依赖,考虑到后续的功能扩展就暂时保留); 消息读取机制的改进 Tube MQ 采用的是消息随机读取模式, 同时为了降低消息时延又增加了内存缓存读写, 对于带 SSD 设备的机器, 增加消息滞后转 SSD...消费时延分级保证、消费限流控制,以及数据拉取频率控制等; 系统安全管控 根据业务不同的数据服务需要,以及系统运维安全的考虑,Tube MQ 系统增加了 TLS 传输层加密管道,生产和消费服务的认证、授权,以及针对分布式访问控制的访问令牌管理

2.3K60

腾讯万亿级分布式消息中间件TubeMQ正式开源

TubeMQ是腾讯在2013年自研的分布式消息中间件系统,专注服务大数据场景下海量数据的高性能存储和传输,经过近7年上万亿的海量数据沉淀,目前日均接入量超过25万亿条。...系统行级锁操作 对于Broker消息读写中存在中间状态的并发操作采用行级锁,避免重复问题; 5. ...消息读取机制的改进 Tube MQ采用的是消息随机读取模式,同时为了降低消息时延又增加了内存缓存读写,对于带SSD设备的机器,增加消息滞后转SSD消费的处理,解决消费严重滞后时吞吐量下降以及SSD磁盘容量小...系统安全管控 根据业务不同的数据服务需要,以及系统运维安全的考虑,Tube MQ系统增加了TLS传输层加密管道,生产和消费服务的认证、授权,以及针对分布式访问控制的访问令牌管理,满足业务和系统运维在系统安全方面的需求...欢迎开源协同 我们热烈欢迎大家参与到TubeMQ及项目各个模块的开源协同中来,如果在使用TubeMQ项目时遇到了问题,或者对改进TubeMQ项目有一个想法,欢迎提出你的issue!

1.9K72
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    MQ 系列之初识消息中间件

    1.1 简介 1.1.1 概述   消息中间件(MQ)适用于需要可靠的数据传送的分布式环境。采用消息中间件机制的系统中,不同的对象之间通过传递消息来激活对方的事件,完成相应的操作。...淘宝的 MySQL 集群内部有使用它进行通讯, OpenStack 开源云平台的通信组件,最先在金融行业得到运用。 Kafka:Kafka 是一个分布式消息发布订阅系统。...1.3 几种中间件对比 1.3.1 对比表 特性 ActiveMQ RabbitMQ RocketMQ Kafka 单机吞吐量 万级,吞吐量比 RocketMQ 和 Kafka 要低了一个数量级 万级,...,基于主从架构实现高可用性 非常高,分布式架构 非常高,kafka 是分布式的,一个数据多个副本,少数机器宕机,不会丢失数据,不会导致不可用 消息可靠性 有较低的概率丢失数据 经过参数优化配置,可以做到...RocketMQ 接口简单易用,而且毕竟在阿里大规模应用过,有阿里品牌保障,日处理消息上百亿之多,可以做到大规模吞吐,性能也非常好,分布式扩展也很方便,社区维护还可以,可靠性和可用性都是 ok 的,还可以支撑大规模的

    77120

    蚂蚁金服国内首次系统性解密其 DevOps 体系(附视频)

    想知道蚂蚁金服如何修炼其高超的 DevOps 技能吗? 运营着支付宝、余额宝、花呗等业务的蚂蚁金服技术团队打算毫无保留的分享给你。 好消息来了,7位讲师6个议题,力度前所未有!...《金融级平台即服务-打造技术中台拥抱金融科技业务创新》 广大金融机构正逐渐迎接数字化转型创新所带来的挑战,使全面云化的IT基础设施扮演着举足轻重的角色。...王磊(花名:玉攻) 蚂蚁金服 资深技术专家 金融科技 PaaS 平台产品线负责人 王磊,花名玉攻,现任蚂蚁金服金融科技PAAS平台产品线团队负责人,主导了蚂蚁SOFAStack金融分布式架构体系中的应用...《蚂蚁金服金融级分布式架构的10年演进之路》 SOFAStack 是蚂蚁金服核心技术团队自研的一套中间件。这套中间件可以用于用于快速构建金融级分布式架构。...《互联网金融保险场景下的云原生运维增效之道》 蚂蚁金服SOFAStack金融分布式架构,致力于使严苛金融场景亦能从容地应对云原生开发、运维、架构的难题。

    2K20

    业务高速增长,如祺出行如何用腾讯云消息队列 RocketMQ 应对挑战

    RocketMQ 介绍 Apache RocketMQ 是一个开源的分布式消息中间件,因其架构简单、业务功能丰富、具备极强可扩展性等特点被众多企业开发者以及云厂商采用,它具有高性能、高可用性、高可靠性和易于使用等优势...,尤其在互联网、大数据、企业应用、金融交易等在线业务场景成为开发者首选的消息队列产品。...,在完全兼容社区版的基础上,提供了秒级定时消息、命名空间,消息轨迹和丰富的监控告警指标等企业级特性,可以很好地满足如祺订单系统等各种复杂的消息处理需求。...2、业务的扩展性 风控、安全、营销、派单有非常多复杂的业务逻辑,例如发券、动态折扣等,如果没有用消息队列做消息共享,就需要做N*N 的远程调用,增加了系统复杂度,现在只需要增加一个下游订阅,就可以扩展新业务逻辑...事务消息场景 事务消息是 Apache RocketMQ 提供的一种高级消息类型,支持在分布式场景下保障消息生产和本地事务的最终一致性,尤其是在对数据一致性要求高的交易场景有广泛的应用,主要核心过程如下

    2.5K40

    重庆农商行构建一体化云原生PaaS平台,实现研发效率与系统稳定性双提升

    核心痛点在于需在全信创环境(IaaS为XX信创云,CPU为海光3,操作系统为UOS)下,构建一个能够统一技术标准、提升研发效率、并具备金融级容灾能力的分布式云原生PaaS平台,以支撑其核心交易类、管理类及运维类业务系统...基于腾讯云原生技术构建一体化PaaS解决方案 重庆农商行联合腾讯云,通过整合微服务框架TSE、容器平台TCS、消息中间件TDMQ与Ckafka、以及缓存中间件Credis等产品,打造了一体化云原生PaaS...该方案的关键举措包括: 统一中间件基础能力:对微服务、消息、缓存等中间件进行封装整合,形成统一接入规范,实现资源动态调配。...“通过对微服务平台TSF、消息中间件TDMQ及Ckafka、缓存中间件Credis的封装及整合,形成统一的中间件接入规范,极大的减轻了业务系统开发的难度及耗时。”...腾讯云微服务框架TSE、容器平台TCS及系列中间件产品,有效帮助重庆农商行在非腾讯云IaaS上成功构建了金融级云原生底座,实现了技术架构的统一与标准化,为业务持续创新提供了坚实的技术保障。

    19110

    深度解析Apache RocketMQ:从核心原理到实战应用

    在分布式系统与微服务架构中,消息中间件扮演着“桥梁”与“缓冲”的关键角色,负责实现服务解耦、异步通信、流量削峰等核心诉求。...Apache RocketMQ作为一款源自阿里、捐献给Apache基金会的开源消息中间件,凭借其金融级可靠性、丰富的功能特性及优秀的性能表现,已成为互联网、金融、电商等领域的主流选择。...其设计目标是打造一款“金融级可靠、高吞吐、低延迟、功能丰富”的消息中间件,既满足普通业务的异步通信需求,也能支撑金融交易、电商订单等对一致性要求极高的核心场景。...RabbitMQ 核心定位 金融级消息中间件,平衡可靠与性能 分布式流处理平台,高吞吐优先 企业级消息代理,灵活路由优先 吞吐量 高(接近Kafka,十万级TPS) 极高(百万级TPS,大数据首选)...九、总结 Apache RocketMQ凭借其金融级可靠性、丰富的高级特性、简洁的架构设计及云原生演进能力,已成为分布式系统中核心的消息中间件选择。

    1.1K10

    探索 RocketMQ:企业级消息中间件的选择与应用

    探索 RocketMQ:企业级消息中间件的选择与应用一、关于RocketMQRocketMQ 是一个高性能、高可靠、可扩展的分布式消息中间件,它是由阿里巴巴开发并贡献给 Apache 软件基金会的一个开源项目...二、发展消息队列属于最经典的中间件之一,已经有 30 多年的历史,其发展历程可以总结为几个阶段:第一阶段,2000 年之前。...由于传统的消息队列无法承受亿级用户的访问流量和海量数据传输,诞生了互联网消息中间件,核心能力是全面采用分布式架构、具备很强的横向扩展能力,开源典型代表有 Kafka、RocketMQ,闭源的还有淘宝 Notify...2012年:阿里巴巴开源其自研的第三代分布式消息中间件——RocketMQ。经过几年的技术打磨,阿里称基于RocketMQ技术,目前双十一当天消息容量可达到万亿级。...五、应用场景以下是一些典型的 RocketMQ 应用场景:金融行业交易消息系统:金融交易系统对消息的可靠性、事务性和高吞吐量有严格要求。

    1.3K10

    腾讯专有云TCE 高可用技术白皮书

    ) #缓存数据库CRedis(二级类目:CloudDB for Redis) #流式消息引擎TDMQ-Kafka(二级类目:TDMQ for CKafka) #消息队列TDMQ-Pulsar...#分布式存储平台(二级类目:三副本冗余存储) #快照备份系统(二级类目:跨区域数据备份) 第二章:报告背景和目标 报告聚焦政企、金融等关键行业客户对业务连续性的核心诉求,以RTO(业务恢复时间...研究价值在于通过腾讯专有云TCE的“八横四纵”高可用体系(四纵:硬件组件级、节点级、机柜级、AZ级;八横:基础设施、网络连接、计算调度、存储、中间件与数据库、微服务框架、应用、管控底座),提供多部署模式...•核心分析模型:“八横四纵”高可用体系(四纵:硬件组件级、节点级、机柜级、AZ级故障容忍;八横:基础设施、网络连接、计算调度、存储、中间件与数据库、微服务框架、应用、管控底座高可用能力)。...•国际性与技术领先:TCE高可用架构获金融客户验证,跻身全球分布式云平台领导者象限;自研产品如TDSQL分布式数据库(强一致跨AZ同步)、TDMQ-Pulsar金融级消息中间件(跨AZ强一致)、CRedis

    85910

    鹅厂中间件产品遭遇暴风吐槽

    伴随着互联网和云计算技术发展的不断深入,越来越多的互联网公司早已摒弃了传统的集中式架构或分布式架构,转而使用对「高并发、高性能、高可用」有更好保证效果的微服务架构模式。...为了更好地服务使用微服务架构进行软件设计的企业,腾讯云中间件产品基于腾讯在微服务、消息队列领域多年的技术积累,提供了功能强大、兼容并包、生态开放的云原生分布式微服务解决方案和消息队列服务。...全方位打造出7款优秀产品:微服务平台 TSF、消息队列CKafka、金融级消息队列TDMQ、微服务观测平台 TSW、弹性微服务 TEM、微服务引擎TSE、分布式事务DTF,全面布局云原生领域产品矩阵。...经过多年匠心打磨,腾讯中间件产品已在金融、政府、能源、制造业等行业得到了大规模的应用,但是用户在使用的过程中,到底是什么感受呢?...福利大放送 对于本期“腾讯云中间件-微服务与消息队列产品”吐槽大会,你有什么想说的话?在留言区写下你对专题会议的期待,点击「在看」,并配上文案“腾讯云中间件,面对疾风吧!”

    1.3K20

    重庆农商行基于 Tencent TCS 构建两地三中心金融级容灾平台,荣获信通院专有云优秀案例

    在2024年信通院专有云优秀案例评比中,重庆农村商业银行股份有限公司(以下简称“重庆农商行”)以“重庆农商行两地三中心金融级容灾云原生PaaS云平台”获奖。...项目以腾讯专有云PaaS平台(Tencent TCS PaaS平台),建设重庆农商行两地三中心金融级容灾云原生PaaS云平台,打造一体化、分布式云原生PaaS平台,统一技术标准和接入规范,提升研发效率。...项目解决方案 通过Tencent TCS PaaS平台提供微服务框架TSF和容器服务,结合腾讯云消息中间件TDMQ及Ckafka和缓存中间件Credis等产品,构建重庆农商行金融级云原生技术底座。...通过对微服务平台TSF、消息中间件TDMQ及Ckafka、缓存中间件Credis的封装及整合,形成统一的中间件接入规范,极大地减轻了业务系统开发的难度及耗时,平台按需对资源进行动态调配,满足业务系统动态扩缩容的要求...依托Tencent TCS PaaS平台解决方案,屏蔽基础设施的复杂性与多样性,构建金融级云原生底座,配合已构建的中间件基础能力,形成重庆农商行独有的平台服务能力。 一体化的监控运维体系。

    1.4K10

    鹅厂中间件产品遭遇暴风吐槽!

    导读 伴随着互联网和云计算技术发展的不断深入,越来越多的互联网公司早已摒弃了传统的集中式架构或分布式架构,转而使用对「高并发、高性能、高可用」有更好保证效果的微服务架构模式。...为了更好地服务使用微服务架构进行软件设计的企业,腾讯云中间件产品基于腾讯在微服务、消息队列领域多年的技术积累,提供了功能强大、兼容并包、生态开放的云原生分布式微服务解决方案和消息队列服务。...全方位打造出7款优秀产品:微服务平台 TSF、消息队列 CKafka、金融级消息队列 TDMQ、微服务观测平台 TSW、弹性微服务 TEM、微服务引擎 TSE、分布式事务 DTF,全面布局云原生领域产品矩阵...经过多年匠心打磨,腾讯中间件产品已在金融、政府、能源、制造业等行业得到了大规模的应用,但是用户在使用的过程中,到底是什么感受呢?...福利大放送 对于本期 “腾讯云中间件-微服务与消息队列产品” 吐槽大会,你有什么想说的话? 在留言区写下你对专题会议的期待,点击「在看」 配上文案 “腾讯云中间件,面对疾风吧!”

    1.1K20

    分布式架构设计篇(五)-刚性事务之2PC详解

    分布式一致性问题的解决思路有两种,一种是分布式事务,一种是尽量通过业务流程避免分布式事务。分布式事务是直接解决问题,而业务规避其实通过解决出问题的地方(解决提问题的人)。...柔性事务:有业务改造,最终一致性,实现补偿接口,实现资源锁定接口,高并发,适合长事务。...,中文名是二阶段提交,是XA规范的实现思路,XA规范是 X/Open DTP 定义的交易中间件与数据库之间的接口规范(即接口函数),交易中间件用它来通知数据库事务的开始、结束以及提交、回滚等。...一般,常见的事务管理器( TM )是交易中间件,常见的资源管理器( RM )是数据库,常见的通信资源管理器( CRM )是消息中间件。...林淮川 毕业于西安交通大学;奈学教育《百万架构师训练营》讲师及企业级源码内源负责人,前大树金融高级架构师;前大树金融技术委员会开创者;前大树金融供应链金融技术总监;前天阳宏业交易事业部技术主管;多年互联网金融行业

    2.3K1818

    【TEGer 在全球架构师峰会】 : 腾讯企业级消息中间件 CMQ 技术解密

    目前专注于于分布式服务开发与治理平台TSF的建设。 大规模分布式系统的快速发展使得消息中间件已经成为系统间通信的核心手段。...本文将对腾讯TEG基础架构部中间件团队研发的企业级消息中间件CMQ原理进行分享介绍。...背景介绍 可以使用消息队列的场景有很多,常见的有以下几种: 1.服务解耦:同步变异步,数据最终一致性; 2.削峰限流:类似“三峡大坝”,下游服务方被超过服务能力请求压垮; 3.广播订阅:发送方不关心谁订阅这个消息...中间件团队消息队列发展历程: [3631gssrfr.png] CMQ/CKafka/MQ for IoT本质上都属于分布式消息中间件,分布式消息系统的最大特点是可扩展性。...总结 本文主要腾讯基础架构部消息中间件发展历程进行简要介绍,重点对金融级消息中间件CMQ核心原理进行分享,除此之外,中间件团队针对大数据领域常用的kafka进行优化改进推出了CKafka,在相同条件下小于

    2.7K91

    RabbitMQ-RocketMQ和Kafka有什么区别

    RocketMQ 是一个分布式消息中间件,最初由阿里巴巴集团开发,并于2012年开源。自2016年起,它成为Apache软件基金会的顶级项目。...丰富的消息类型:支持普通消息、顺序消息、事务消息、定时消息等多种消息类型。 灵活的部署结构:支持单机、主从复制、分布式集群等多种部署方式。...提供最严格的顺序保证,适合金融交易 Kafka 分区内有序,RabbitMQ 单队列有序 延迟表现: RabbitMQ 延迟最低 (微秒级),适合实时响应系统 RocketMQ 和 Kafka 毫秒级延迟...可靠性设计: RocketMQ 针对金融场景设计,支持事务消息和消息回溯 RabbitMQ 提供灵活的路由和死信处理 Kafka 保证持久化但不支持死信队列 选型建议: 选择 RabbitMQ 当:需要快速搭建消息系统...、复杂路由规则、低延迟响应、企业应用集成 选择 RocketMQ 当:需要金融级可靠性、严格消息顺序、事务支持、电商交易场景 选择 Kafka 当:处理海量数据流、构建实时分析系统、日志聚合、事件溯源架构

    47610

    【Java进阶2】Java常用消息中间件深度解析:特性、架构与适用场景

    在分布式系统架构中,消息中间件扮演着至关重要的角色,它能够实现系统间的解耦、异步通信、流量削峰、数据同步等核心需求,是保障分布式系统高可用、高并发的关键组件之一。...二、Java常用消息中间件详解 2.1 ActiveMQ:Java生态的“元老级”消息中间件 ActiveMQ是Apache基金会旗下的开源消息中间件,基于Java语言开发,诞生于2004年,是Java...2.2.4 适用场景 企业级应用的异步通信场景,如订单提交后发送通知、用户注册后同步数据等。 对消息可靠性要求高的场景,如金融交易、支付结算等。...2.3 RocketMQ:阿里开源的高性能分布式消息中间件 RocketMQ是阿里巴巴开源的分布式消息中间件,基于Java语言开发,最初用于解决阿里内部的高并发、大数据量的消息流转问题,后来开源并捐赠给...企业级应用,对消息可靠性和路由灵活性要求高:优先选择RabbitMQ,其高可靠性、灵活的路由机制和丰富的功能,能很好地满足企业级场景的需求,尤其适合金融、电商等对消息安全性要求较高的领域。

    77310

    【金猿信创展】恒生电子——全栈式信创解决方案,助力金融信创行稳致远

    核心技术及产品突破 1、分布式微服务中间件Light-JRES Light-JRES是面向金融领域的企业级应用快速开发平台和多系统融合平台,既减轻对基础设施的依赖,又从业务上具备可复用、可扩展、高安全的特性...JRES中间件是实现对通用技术组件的服务化,譬如:分布式缓存、消息队列、分布式事务等等,通过应用共享以及多租户隔离实现技术组件最大程度复用,降低系统的资源消耗让技术组件和业务公共模块下沉,从而做到支持业务的快速创新和迭代...2、分布式低延时中间件Light-LDP Light-LDP是具有集低延时、分布式解耦、灵活开放等特点的开发平台,支持金融机构微秒级业务应用,主要面向券商自营、券商资管以及券商机构业务的策略交易、算法交易...3、金融级分布式数据库LightDB LightDB是一款支持在线事务处理与在线分析处理的融合型分布式数据库,具备SQL兼容性高、容量弹性伸缩、金融级高可用、现代硬件融合、纯内存计算等核心特性,适用于对可用性...LightDB具有“更快、更稳、更懂金融”的企业级特性:采用单机分布式一体化架构,同时支持集中式和分布式部署,在长时间高负载压测下抖动很低;性能方面,在同机房高可用信创软硬件下、单节点进行证券典型订单TPS

    2K30

    面试官:聊聊MQ?我从可靠性聊到幂等性,从Kafka聊到RocketMQ,他沉默了

    RocketMQ:阿里的扛鼎之作,为电商、金融等复杂业务场景而生。 优点:吞吐量巨大(十万到百万级),功能极其丰富,特别是事务消息和延迟消息这两个“杀手锏”,在业界几乎没有对手。...选型场景:金融级核心业务、电商订单、需要事务和定时任务的复杂场景。  RabbitMQ:基于AMQP协议,是最经典的“消息中间件”。 优点:功能完善,社区活跃,多语言支持最好。...单条消息的延迟极低。 缺点:吞吐量相比前两者稍逊一筹(万到十万级),Erlang语言栈也让二次开发和深度运维有一定门槛。...优点:拥有无与比拟的吞吐能力(轻松达到百万级),核心是基于磁盘的持久化日志,支持消息回溯。天然为分布式和高可用设计。 缺点:核心功能相对纯粹,不直接支持延迟消息和事务消息(需要变通实现)。...我的选型心法: 业务核心、金融相关选RocketMQ;路由复杂、中小企业用RabbitMQ;日志数据、流式计算上Kafka! 总结 消息队列是现代分布式架构的“中流砥柱”。

    50010

    一文带你读懂中间件

    得益于政府、金融、电信等行业信息化建设的提速,以及用户对基于云的分布式应用服务、消息队列等中间件工具的需求增长,未来,中间件市场将保持稳定增长的态势。...基础中间件 中间件产生之初主要解决分布式环境下软件性能和可靠性的问题,包括交易中间件、消息中间件等。此后,为满足应用软件在不同硬件平台、网络环境下运行的需求,应用服务器中间件随之出现。...交易中间件适用于联机交易系统,如银行业务系统、订票系统等,在金融、财税、电信等行业中得到广泛落地。 消息中间件解决了分布式计算环境下多个子系统间的消息通信问题。...2019年,公司获得华为优选级认证服务解决方案伙伴认证,多款产品通过华为自有数据库、操作系统的兼容性认证。 金蝶天燕 公司是基础软件行业的软件开发商,成立于2000年,2017年于新三板挂牌上市。...团队自主研发的一系列产品在2007年底开始的淘宝架构2.0到3.0变迁过程中,使淘宝网从集中式的Java应用走向了分布式Java应用,涵盖消息中间件、服务框架、数据层、应用服务器和大规模分布式稳定性平台等

    5.4K40

    重庆农商银行:一体化云原生PaaS平台提升科技研发效率

    应对全信创环境下的架构升级挑战作为全国首家万亿级农商行及“2024世界银行1000强”全国农商行首位,重庆农商银行致力于打造自主可控、智能高效的金融科技平台。...在此复杂的异构基础设施之上,银行急需打造领先的分布式云原生PaaS平台,打破技术孤岛,统一技术标准和接入规范,以解决研发效率瓶颈并确保系统在信创环境下的稳定性。...通过引入腾讯云微服务框架TSF和容器服务平台TCS,结合消息中间件TDMQ&Ckafka以及缓存中间件Credis,成功构建了重庆农商银行的金融级云原生技术底座。...统一中间件接入:对微服务、消息队列及缓存组件进行统一封装与整合,极大降低了业务系统开发的难度与耗时。...确立金融级容灾与自动化运维体系基于一体化云原生PaaS平台的建设,重庆农商银行实现了业务系统的高可用部署与高效交付,核心成效如下:金融级容灾架构:在异构IaaS之上,成功建设了2地3中心金融级容灾云原生

    24700
    领券