首页
学习
活动
专区
工具
TVP
发布

腾讯开源万亿分布消息中间件 TubeMQ

beMQ 是腾讯在 2013 年自研的分布消息中间件系统,专注服务大数据场景下海量数据的高性能存储和传输,经过近 7 年上万亿的海量数据沉淀,目前日均接入量超过 25 万亿条。...变更及查询实现了完整的自动化闭环管理,减轻了系统维护的复杂度; 服务器侧消费负载均衡 Tube MQ 采用的是服务侧负载均衡的方案,而不是客户端侧操作,提升系统的管控能力同时简化客户端实现,更便于均衡算法升级; 系统行锁操作...对于 Broker 消息读写中存在中间状态的并发操作采用行锁,避免重复问题; Offset 管理调整 Offset 由各个 Broker 独自管理,ZK 只作数据持久化存储用(最初考虑完全去掉 ZK...依赖,考虑到后续的功能扩展就暂时保留); 消息读取机制的改进 Tube MQ 采用的是消息随机读取模式, 同时为了降低消息时延又增加了内存缓存读写, 对于带 SSD 设备的机器, 增加消息滞后转 SSD...消费时延分级保证、消费限流控制,以及数据拉取频率控制等; 系统安全管控 根据业务不同的数据服务需要,以及系统运维安全的考虑,Tube MQ 系统增加了 TLS 传输层加密管道,生产和消费服务的认证、授权,以及针对分布式访问控制的访问令牌管理

1.4K60

腾讯万亿分布消息中间件TubeMQ正式开源

TubeMQ是腾讯在2013年自研的分布消息中间件系统,专注服务大数据场景下海量数据的高性能存储和传输,经过近7年上万亿的海量数据沉淀,目前日均接入量超过25万亿条。...系统行锁操作 对于Broker消息读写中存在中间状态的并发操作采用行锁,避免重复问题; 5. ...消息读取机制的改进 Tube MQ采用的是消息随机读取模式,同时为了降低消息时延又增加了内存缓存读写,对于带SSD设备的机器,增加消息滞后转SSD消费的处理,解决消费严重滞后时吞吐量下降以及SSD磁盘容量小...系统安全管控 根据业务不同的数据服务需要,以及系统运维安全的考虑,Tube MQ系统增加了TLS传输层加密管道,生产和消费服务的认证、授权,以及针对分布式访问控制的访问令牌管理,满足业务和系统运维在系统安全方面的需求...采用连接复用模式,减少连接资源消耗;通过逻辑分区构造,减少系统对文件句柄数的占用,通过服务器端过滤模式,减少网络带宽资源使用率;通过剥离对Zookeeper的使用,减少Zookeeper的强依赖及瓶颈限制; 11

1.1K72
您找到你想要的搜索结果了吗?
是的
没有找到

腾讯云数据库携手天阳,共建国产新生态

近日,天阳信用卡新一代核心产品CreditX完成了与腾讯云分布式数据库TDSQL的适配性测试,并基于深度融合,推出“金融零售核心CreditX+分布式数据库TDSQL”的新一代分布式信用卡核心产品联合解决方案...CreditX整体技术架构与腾讯云整体解决方案全面融合:其中PaaS平台采用腾讯蓝鲸平台进行CI/CD持续集成及部署,以及统一运维;数据库采用TDSQL;消息服务组件使用腾讯云消息队列CMQ。...此次联合方案中的TDSQL是腾讯云企业分布式关系型数据库品牌,旗下涵盖金融分布式、云原生、分析型等多引擎融合的完整数据库产品体系,提供业界领先的金融高可用、计算存储分离、数据仓库等能力,同时具备智能运维平台...其中TDSQL金融分布式引擎,具备线性可扩展、海量吞吐、高性能、数据强一致、99.999%高可用、企业安全等特性,服务了微众银行、平安银行、数字广东等广大金融政企机构,包括近半国内TOP 20银行客户等...国产数据库,中标哪家强? ↓↓一年19.9特惠云数据库点这儿~

6.3K30

消息中间件选型

十万 时效性 ms以内 us(微秒) ms ms 可用性 非常高(分布式架构) 高(主从架构) 非常高(分布式架构) 高(主从架构) 功能特性 只支持主要的 MQ功能,像一些消息查询...并发能力很强,性能及其,延迟极低,管理界面丰富 MQ功能比较完备,扩展性强 成熟的产品,在很多公司得到应用,有很多成熟的文档,支持各种协议 一、中间件选型 ---- Kafka Kafka 是 LinkedIn...RocketMQ RocketMQ是阿里开源的消息中间件,它是纯 Java开发,具有高吞吐量、高可用性、适合大规模分布式系统应用的特点。...消息可靠性非常高,经过参数优化配置,消息可以做到0丢失。MQ功能较为完善,还是分布式的,扩展性。支持10亿别的消息堆积,不会因为堆积导致性能下降。...RoketMQ在稳定性上可能更值得信赖,这些业务场景在阿里11已经经历了多次考验,如果你的业务有上述并发场景,建议可以选择RocketMQ。

1.7K20

余额宝技术架构及演进

中间层就是采用小型机,其中 KCXP 和 KCBP 是金证公司的消息中间件和业务中间件。往上前端是前置解析是用的 WebLogic,负载均衡用的硬件负载均衡。 ?...另外当年要参加支付宝这边的 11 活动,以当时的系统处理能力来讲,肯定是做不到的。 二期云端架构 基于这些原因,需要对一期的系统做优化,怎么优化?...目前来讲应对春节、11、国庆长假等场景,系统都能稳定应对这些。 ?...比如对于在线交易,可以采用经过阿里支付宝验证过的 OB,专门用于解决金融分布式关系数据库的解决方案; 对于批量结算,可以继续沿用多年来在余额宝已经用的很娴熟的 RDS 集群。...异步调用 异步调用主要靠消息中间件金融系统对消息中间件的可靠性要求非常高,这块我们还是沿用传统思路,并不想采用开源解决方案去填那些坑,更多考虑采用成熟金融消息中间件来做这件事情。 ?

1.2K50

揭秘:2018阿里11秒杀背后的技术

二、阿里11背后的技术 ? 1. 云计算 利用云计算弹性能力,支撑交易峰值每秒32.5万笔、支付峰值每秒25.6万笔的混合云弹性架构。 2. 分布消息引擎 在11当天实现万亿消息流转。 3....物流技术 菜鸟通过包裹预测、供应链入库、订单下沉、订单路由调度、电子面单及智能分单,以及末端小件员,涉及十亿包裹的11之战。...总之,11将涉及:基础设施、存储、中间件、云计算、业务架构、大数据、认知计算与人工智能、交互技术等技术领域。...充分利用消息中间件削峰 这里有相关的阿里消息中间件(Notify和MetaQ),以及开源的(ActiveMQ、Kafka等)。...现在对数据库的拆分,都是利用数据库层中间件(淘宝 tddl),来进行无缝对数据库的侵入设计。 除此以外还会涉及到分布式小文件存储以及搜索引擎,以及服务器集群监控等技术。

4.5K30

盘点 常见MQ : 消息队列总览

大家!我是你们的老朋友Java学术趴,今天给大家分享一下常见的MQ消息队列的技术。消息队列是日常大数据开发中必不可少的技术,也是分布式中最重要的一个环节。...3.2 Kafka 大数据的杀手锏,谈到大数据领域内的消息传输,则绕不开Kafka,这款为大数据而生的消息中间件,以百万TPS的吞吐量名声大噪,迅速成为大数据领域的宠儿,在数据采集、传输、存储的过程中发挥着举足轻重给的作用...时效性ms可用性非常高,Kafka是分布式的,一个数据多个副本,少数机器宕机,不会丢失数据,不会导致不可用,消费者采用pull方式获取消息消息是有序的。...优点: 单机吞吐量十万,可用性非常高,是分布式架构,消息可以做到0丢失,MQ功能较为完善,还是发呢分布式的,扩展性, 支持10亿别的消息堆积。...RocketMQ在稳定性上可能更值得信赖,这些业务场景在阿里11已经经历了多次的考验,如果你的业务有上述的场景发生,建议可以使用RocketMQ。

1.1K20

Kafka、RocketMQ、RabbitMQ、ActiveMQ比较MQ消息队列的技术应用Kafka、RocketMQ、RabbitMQ比较消息队列选择建议

2.Kafka 号称大数据的杀手锏,谈到大数据领域内的消息传输,则绕不开Kafka,这款为大数据而生的消息中间件,以其百万TPS的吞吐量名声大噪,迅速成为大数据领域的宠儿,在数据采集、传输、存储的过程中发挥着举足轻重的作用...时效性:ms 可用性:非常高,kafka是分布式的,一个数据多个副本,少数机器宕机,不会丢失数据,不会导致不可用 消费者采用Pull方式获取消息, 消息有序, 通过控制能够保证所有消息被消费且仅被消费一次...是一个在AMQP(高级消息队列协议)基础上完成的,可复用的企业消息系统,是当前最主流的消息中间件之一。...RocketMQ优点: 单机吞吐量:十万 可用性:非常高,分布式架构 消息可靠性:经过参数优化配置,消息可以做到0丢失 功能支持:MQ功能较为完善,还是分布式的,扩展性 支持10亿别的消息堆积...RoketMQ在稳定性上可能更值得信赖,这些业务场景在阿里11已经经历了多次考验,如果你的业务有上述并发场景,建议可以选择RocketMQ。

76230

消息队列(Message Queue)

Kafka   大数据的杀手锏,谈到大数据领域内的消息传输,则绕不开 Kafka,这款为大数据而生的消息中间件, 以其百万 TPS 的吞吐量名声大噪,迅速成为大数据领域的宠儿,在数据采集、传输、存储的过程中发挥着举足轻重的作用...时效性 ms 可用性非常高,kafka 是分布式的,一个数据多个副本,少数机器宕机,不会丢失数据,不会导致不可用,消费者采用 Pull 方式获取消息, 消息有序, 通过控制能够保证所有消息被消费且仅被消费一次...优点:单机吞吐量十万,可用性非常高,分布式架构,消息可以做到 0 丢失,MQ 功能较为完善,还是分布式的,扩展性,支持 10 亿别的消息堆积,不会因为堆积导致性能下降,源码是 java 我们可以自己阅读源码...RabbitMQ    2007 年发布,是一个在AMQP(高级消息队列协议)基础上完成的,可复用的企业消息系统,是当前最主流的消息中间件之一。   ...RoketMQ 在稳定性上可能更值得信赖,这些业务场景在阿里 11 已经经历了多次考验,如果你的业务有上述并发场景,建议可以选择 RocketMQ。 3.

38120

MQ简单介绍

时效性ms可用性非常高,kafka是分布式的,一个数据多个副本,少数机器宕机,不会丢失数据,不会导致不可用,消费者采用Pull方式获取消息, 消息有序, 通过控制能够保证所有消息被消费且仅被消费一次;...优点:单机吞吐量十万,可用性非常高,分布式架构,消息可以做到0丢失,MQ功能较为完善,还是分布式的,扩展性,支持10亿别的消息堆积,不会因为堆积导致性能下降,源码是java我们可以自己阅读源码,定制自己公司的...)基础上完成的,可复用的企业消息系统,是当前最主流的消息中间件之一。...RoketMQ在稳定性上可能更值得信赖,这些业务场景在阿里11已经经历了多次考验,如果你的业务有上述并发场景,建议可以选择RocketMQ。...3.RabbitMQ 结合erlang语言本身的并发优势,性能时效性微秒,社区活跃度也比较高,管理界面用起来十分方便,如果你的数据量没有那么大,中小型公司优先选择功能比较完备的RabbitMQ。

72230

什么是 MQ?

2.Kafka 大数据的杀手锏,谈到大数据领域内的消息传输,则绕不开 Kafka,这款为大数据而生的消息中间件,以其百万 TPS 的吞吐量名声大噪,迅速成为大数据领域的宠儿,在数据采集、传输、存储的过程中发挥着举足轻重的作用...时效性 ms 可用性非常高,kafka 是分布式的,一个数据多个副本,少数机器宕机,不会丢失数据,不会导致不可用,消费者采用 Pull 方式获取消息, 消息有序, 通过控制能够保证所有消息被消费且仅被消费一次...优点:单机吞吐量十万,可用性非常高,分布式架构,消息可以做到 0 丢失,MQ 功能较为完善,还是分布式的,扩展性,支持 10 亿别的消息堆积,不会因为堆积导致性能下降,源码是 java 我们可以自己阅读源码...)基础上完成的,可复用的企业消息系统,是当前最主流的消息中间件之一。...RoketMQ 在稳定性上可能更值得信赖,这些业务场景在阿里 11 已经经历了多次考验,如果你的业务有上述并发场景,建议可以选择 RocketMQ。

1.6K50

【金猿信创展】恒生电子——全栈式信创解决方案,助力金融信创行稳致远

核心技术及产品突破 1、分布式微服务中间件Light-JRES Light-JRES是面向金融领域的企业应用快速开发平台和多系统融合平台,既减轻对基础设施的依赖,又从业务上具备可复用、可扩展、高安全的特性...JRES中间件是实现对通用技术组件的服务化,譬如:分布式缓存、消息队列、分布式事务等等,通过应用共享以及多租户隔离实现技术组件最大程度复用,降低系统的资源消耗让技术组件和业务公共模块下沉,从而做到支持业务的快速创新和迭代...2、分布式低延时中间件Light-LDP Light-LDP是具有集低延时、分布式解耦、灵活开放等特点的开发平台,支持金融机构微秒业务应用,主要面向券商自营、券商资管以及券商机构业务的策略交易、算法交易...3、金融分布式数据库LightDB LightDB是一款支持在线事务处理与在线分析处理的融合型分布式数据库,具备SQL兼容性高、容量弹性伸缩、金融高可用、现代硬件融合、纯内存计算等核心特性,适用于对可用性...LightDB具有“更快、更稳、更懂金融”的企业特性:采用单机分布式一体化架构,同时支持集中式和分布式部署,在长时间高负载压测下抖动很低;性能方面,在同机房高可用信创软硬件下、单节点进行证券典型订单TPS

89830

【TEGer 在全球架构师峰会】 : 腾讯企业消息中间件 CMQ 技术解密

目前专注于于分布式服务开发与治理平台TSF的建设。 大规模分布式系统的快速发展使得消息中间件已经成为系统间通信的核心手段。...本文将对腾讯TEG基础架构部中间件团队研发的企业消息中间件CMQ原理进行分享介绍。...中间件团队消息队列发展历程: [3631gssrfr.png] CMQ/CKafka/MQ for IoT本质上都属于分布消息中间件分布消息系统的最大特点是可扩展性。...3.Module是根据系统行为提前定义的正确性验证模型,Checker结合Module分析history输出测试报告。...总结 本文主要腾讯基础架构部消息中间件发展历程进行简要介绍,重点对金融消息中间件CMQ核心原理进行分享,除此之外,中间件团队针对大数据领域常用的kafka进行优化改进推出了CKafka,在相同条件下小于

2K91

校招进大厂,分享 Tom哥的读书单

先做个自我介绍 大家,我是Tom哥。校招进阿里,研究生,P7技术专家,出过专利,竞赛拿过奖,CSDN博客专家,负责过电商交易、社区生鲜、营销、金融等业务,多年团队管理经验,爱思考。...》 《疯狂Spring Cloud微服务架构实战》 《深入理解Spring Cloud与微服务构建》 设计模式: 《UML与Rational Rose 2003从入门到精通》 《大话设计模式》 MQ消息...》 《分布式服务框架:原理与实践》 《分布式数据库架构及企业实践——基于Mycat中间件》 《亿流量网站架构核心技术——跟开涛学搭建高可用高并发系统》 《尽在11——阿里巴巴技术演进与超越》 《企业...IT架构转型之道:阿里巴巴中台战略思想与架构实战》 《分布式服务架构:原理、设计与实战》 《深入分布式缓存:从原理到实践》 《可伸缩服务架构:框架与中间件》 《大型网站技术架构演进与性能优化》 《从零开始学架构...》 《架构修炼之道——亿网关、平台开放、分布式、微服务、容错等核心技术修炼实践》 《爬虫实战:从数据到产品》 算法: 《漫画算法:小灰的算法之旅》 《数据结构与算法之美》 Mysql: 《高性能MySQL

71730

CKafka系列学习文章 - 对比RabbitMQ、RocketMQ、TDMQ-CMQ、kafka和Ckafka(二)

万QPS 读写12万QPS 同步算法 ISR(Replica) ISR(Replica) GM 同步写 Raft 可用性 可用性很高,主从自动切换,腾讯云消息服务承诺可用性99.95% 可用性高,主从自动切换...可用性很高,Broker 中存在2节点即可提供高可用服务 消费方式 拉取方式 拉取方式 拉取和推送方式 拉取和推送方式 拉取和推送方式 消息可靠性 可靠性较高;可通过三副本方式提升可靠性,集群容灾性能...,故障情况极少发生 可靠性低;Broker 只有异步刷盘机制并主备只有异步复制,可能会导致丢失部分消息 可靠性高;发送消息时,指定消息为持久化就会写入到磁盘 可靠性高;Broker 同步写,主备都写成功才返回成功...Ckafka和CMQ都作为消息中间件都支持集群部署、高吞吐量、强一致等特性,那这两款产品最主要的区别是什么,分别更适合哪些场景使用?...for CMQ,简称 TDMQ CMQ 版)是一种分布消息队列服务,它具有可靠的、基于消息的异步通信机制,能够将分布式部署的不同应用(或同一应用的不同组件)中的信息传递,存储在可靠有效的消息队列中,防止消息丢失

4.2K74

数字化平台全面护航金融信创落地 | 信创讲坛第一期

普元应用服务器PAS、消息中间件MQ、大文件传输平台BFT、企业服务总线ESB、业务流程平台BPS、数据集成平台DI、应用开发平台EOS、微服务开发平台EOS MS、研发运维一体化平台DevOps、低代码开发平台...例如普元企业服务总线支撑单日亿海量服务调用,TPS(每秒交易数)能够达到8000+的峰值,满足金融客户对高性能和高并发的要求。...这两种模式,既保证了对金融信创迁移要求的满足,同时又实现了对应用业务发展需要的支撑,达成“一箭雕”的效果。...普元帮助某农信社实现的分布式架构的移动办公系统的信创落地,良好说明了针对金融领域特色需求推出的信创迁移模式的“一箭雕”成果。...整套方案底层操作系统使用了银河麒麟和统信UOS的操作系统,数据库采用的是华为高斯,中间件运用到了普元的应用服务器、微服务开发平台、流程平台、企业服务总线,功能、性能、安全性指标均符合全行应用需求及监管机构要求

88910

喜报!腾讯云 TSF 和 TDMQ 产品获评“2021-2022年度中国优秀创新软件”!

基于深厚的自主技术研发实力和创新的产品功能,腾讯云微服务平台TSF 和消息队列 TDMQ 产品获得与会专家的一致认可,入选“2021-2022年度中国优秀创新软件产品”,体现了腾讯云中间件产品在基础软件和平台支撑软件细分领域的自主创新能力...提供同城活、两地三中心高可用容灾能力,配套运营管控平台实现完善的运营监控能力。 TSF 已具有上万企业用户,广泛应用于金融、政府、工业、能源、泛互联网等业务领域。...TDMQ 产品介绍 腾讯分布消息队列软件(Tencent Distributed Message Queue,简称TDMQ)是一个云原生消息队列中间件系列,为分布式应用系统提供异步解耦和削峰填谷的能力...高可用容灾能力等企业诉求。...腾讯分布消息队列TDMQ 公有云企业用户数 2000+,在腾讯内部每日支撑了30亿+消息,私有云交付实施项目包括90+大中型企业,广泛应用于金融、政府、医疗、泛互等行业和领域。

99030

蚂蚁金服11.11:支付宝和蚂蚁花呗的技术架构及实践

每年“11”都是一场电商盛会,消费者狂欢日。今年11的意义尤为重大,它已经发展成为全世界电商和消费者都参与进来的盛宴。...而对技术人员来说,双十一无疑已经成为一场大考,考量的角度是整体架构、基础中间件、运维工具、人员等。...分布式数据架构 支付宝在2015年十一当天的高峰期间处理支付峰值8.59万笔/秒,已经是国际第一大系统支付。...在之前的架构中,系统的秒处理能力无法有效衡量,通过简单的引流压测无法得到更加准确、可信的数据。立足于金融云,系统很快通过全链路压测得到了每秒处理4w笔支付的稳定能力。...为了保证蚂蚁花呗11期间的授信资金充足,在金融云体系下搭建了机构资产中心,对接支付清算平台,将表内的信贷资产打包形成一个一定期限的资产池,并以这个资产池为基础,发行可交易证券进行融资,即通过资产转让的方式获得充足资金

4K60

白话讲解:消息队列到底解决了什么问题?

1  什么是消息队列 消息队列(Message Queue),从广义上讲是一种消息队列服务中间件,提供一套完整的信息生产、传递、消费的软件系统。...消息队列所涵盖的功能远不止于队列(Queue),其本质是两个进程传递信息的一种方法。两个进程可以分布在同一台机器上,亦可以分布在不同的机器上。...优缺点明显:性能提升了,但是我们作为业务开发人员,还要维护一个消息队列服务,人手完全不够。消息中间件呼之欲出。...出生自阿里巴巴,经历了近十年11核心交易链路打磨,可以支撑万亿消息洪峰。...学习掌握Apache RocketMQ,博文菌强烈推荐《RocketMQ分布消息中间件:核心原理与最佳实践》一书。 李伟 著 作者有多年分布式系统的实战经验,特别是在消息队列方面经验丰富。

32310

RocketMq消息中间件分布式事务消息实现原理

一.消息中间件 1.1消息中间件本质 一次RPC变成两次RPC、内容存储和择机投递;基于消息的通信模式,从关注处理到关注通知。 ?...1.2 消息中间件的使用场景 解耦 解耦是消息中间件解决的最本质问题,核心业务只关心通知,不关心处理结果 最终一致性 可以用消息中间件实现微服务之间状态的最终一致性(只是理论上的,...支持 API完整性 高 高 高 高 多语言支持 支持 Java优先 语言无关 只支持Java 支持 Java优先 单机吞吐量 万 十万 消息延迟 微妙 毫秒 毫秒 高可用性 高...(主从) 高(主从) 非常高(分布式) 非常高(分布式) 消息丢失率 低 低 理论上不会丢失 理论上不会丢失 消息重复性 业务控制 业务控制 业务控制 参考文档完整性 高 高 高 高 提供快速入门 有...服务端源码学习门槛高 分布式扩展设计,主从HA,支持上万个队列,支持PUSH和PULL从消费模式,性能比较好,服务端使用java,源码学习门槛低 分布式扩展设计,支持分片,分组,服务端采用高效的函数式编程语言

98940
领券