首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

腾讯开源万亿分布消息中间件 TubeMQ

beMQ 是腾讯在 2013 年自研的分布消息中间件系统,专注服务大数据场景下海量数据的高性能存储和传输,经过近 7 年上万亿的海量数据沉淀,目前日均接入量超过 25 万亿条。...变更及查询实现了完整的自动化闭环管理,减轻了系统维护的复杂度; 服务器侧消费负载均衡 Tube MQ 采用的是服务侧负载均衡的方案,而不是客户端侧操作,提升系统的管控能力同时简化客户端实现,更便于均衡算法升级; 系统行锁操作...对于 Broker 消息读写中存在中间状态的并发操作采用行锁,避免重复问题; Offset 管理调整 Offset 由各个 Broker 独自管理,ZK 只作数据持久化存储用(最初考虑完全去掉 ZK...依赖,考虑到后续的功能扩展就暂时保留); 消息读取机制的改进 Tube MQ 采用的是消息随机读取模式, 同时为了降低消息时延又增加了内存缓存读写, 对于带 SSD 设备的机器, 增加消息滞后转 SSD...消费时延分级保证、消费限流控制,以及数据拉取频率控制等; 系统安全管控 根据业务不同的数据服务需要,以及系统运维安全的考虑,Tube MQ 系统增加了 TLS 传输层加密管道,生产和消费服务的认证、授权,以及针对分布式访问控制的访问令牌管理

1.5K60

腾讯万亿分布消息中间件TubeMQ正式开源

TubeMQ是腾讯在2013年自研的分布消息中间件系统,专注服务大数据场景下海量数据的高性能存储和传输,经过近7年上万亿的海量数据沉淀,目前日均接入量超过25万亿条。...系统行锁操作 对于Broker消息读写中存在中间状态的并发操作采用行锁,避免重复问题; 5. ...消息读取机制的改进 Tube MQ采用的是消息随机读取模式,同时为了降低消息时延又增加了内存缓存读写,对于带SSD设备的机器,增加消息滞后转SSD消费的处理,解决消费严重滞后时吞吐量下降以及SSD磁盘容量小...系统安全管控 根据业务不同的数据服务需要,以及系统运维安全的考虑,Tube MQ系统增加了TLS传输层加密管道,生产和消费服务的认证、授权,以及针对分布式访问控制的访问令牌管理,满足业务和系统运维在系统安全方面的需求...客户端改进 基于业务使用上的便利性以,我们简化了客户端逻辑,使其做到最小的功能集合,我们采用基于响应消息的接收质量统计算法来自动剔出坏的Broker节点,基于首次使用时作连接尝试来避免大数据量发送时发送受阻

1.2K72
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    面对996,耗子叔也是很刚了 | 极客时间

    看到这个消息,确实很震惊。 对 996 工作制,不少一线工作者都深恶痛绝。我就认识一个人,他坚定认为“技术好、产出高就不必拼工作量”,即使现在自己创业也坚持这一理念。...最近,听说专栏的学习量已经突破 158,000 了,今天特意给大家申请了一个立减 120 元的,并且把这个专栏推荐给你。...扫码免费试读 原价 ¥399,新年 立省 ¥120,仅限「前 50 人」有效 新人首单 ¥98 这是极客时间最早的技术专栏之一,更新时间长达一年,但真正有价值的内容,是经得起时间检验的。...粉丝专属福利 原价 ¥399,新年 立省 ¥120,仅限「前 50 人」有效 新人首单 ¥98 扫码免费试读 现在入手《左耳听风》,绝对不亏,可以说是 2023 年我最推荐的「年度理财产品」。...点击「阅读原文」,新年 立省 ¥120,仅限「前 50 人」有效 新人首单 ¥98

    3.7K20

    技术人如何不靠拼996,快速提升自己?| 极客时间

    看到这个消息,确实很震惊。 对 996 工作制,不少一线工作者都深恶痛绝。我就认识一个人,他坚定认为“技术好、产出高就不必拼工作量”,即使现在自己创业也坚持这一理念。...最近,听说专栏的学习量已经突破 160,000 了,今天特意给大家申请了一个立减 160 元的,并且把这个专栏推荐给你。...扫码免费试读 原价 ¥399,新年 立省 ¥160,仅限「前 50 人」有效 新人首单 ¥98 这是极客时间最早的技术专栏之一,更新时间长达一年,但真正有价值的内容,是经得起时间检验的。...粉丝专属福利 原价 ¥399,新年 立省 ¥160,仅限「前 50 人」有效 新人首单 ¥98  扫码免费试读 如果你想提升自己的竞争力,投资自己是最好的选择。...点击「阅读原文」,新年 立省 ¥160,仅限「前 50 人」有效 新人首单 ¥98

    2.4K20

    腾讯云数据库携手天阳,共建国产新生态

    近日,天阳信用卡新一代核心产品CreditX完成了与腾讯云分布式数据库TDSQL的适配性测试,并基于双深度融合,推出“金融零售核心CreditX+分布式数据库TDSQL”的新一代分布式信用卡核心产品联合解决方案...CreditX整体技术架构与腾讯云整体解决方案全面融合:其中PaaS平台采用腾讯蓝鲸平台进行CI/CD持续集成及部署,以及统一运维;数据库采用TDSQL;消息服务组件使用腾讯云消息队列CMQ。...此次联合方案中的TDSQL是腾讯云企业分布式关系型数据库品牌,旗下涵盖金融分布式、云原生、分析型等多引擎融合的完整数据库产品体系,提供业界领先的金融高可用、计算存储分离、数据仓库等能力,同时具备智能运维平台...其中TDSQL金融分布式引擎,具备线性可扩展、海量吞吐、高性能、数据强一致、99.999%高可用、企业安全等特性,服务了微众银行、平安银行、数字广东等广大金融政企机构,包括近半国内TOP 20银行客户等...↓↓一年19.9云数据库点这儿~

    6.5K30

    腾讯云中间件产品面对疾风吧——TVP吐槽大会第4期

    KV.jpg 为了更好地服务使用微服务架构进行软件设计的企业,腾讯云中间件产品基于腾讯在微服务、消息队列领域多年的技术积累,提供了功能强大、兼容并包、生态开放的云原生分布式微服务解决方案和消息队列服务...全方位打造出6款优秀产品:微服务平台 TSF、消息队列CKafka、金融消息队列TDMQ、微服务观测平台 TSW、微服务引擎TSE、分布式事务DTF,全面布局云原生领域产品矩阵。...另外,腾讯云还始终积极对外贡献技术力量,参与了《中间件技术和产业白皮书》的编写,以及《工业互联网平台微服务》国家标准和《消息中间件技术标准》的讨论与制定。...经过多年匠心打磨,腾讯中间件产品已在金融、政府、能源、制造业等行业得到了大规模的应用,但是用户在使用的过程中,到底是什么感受呢?...TVP自成立以来,一直秉承着“用科技影响世界”的愿景,致力于搭建连接技术专家与广大开发者的桥梁,让技术普大家,践行科技向善的初心和本心。

    1.1K91

    腾讯云中间件产品面对疾风吧——TVP吐槽大会第4期

    KV.jpg 为了更好地服务使用微服务架构进行软件设计的企业,腾讯云中间件产品基于腾讯在微服务、消息队列领域多年的技术积累,提供了功能强大、兼容并包、生态开放的云原生分布式微服务解决方案和消息队列服务...全方位打造出6款优秀产品:微服务平台 TSF、消息队列CKafka、金融消息队列TDMQ、微服务观测平台 TSW、微服务引擎TSE、分布式事务DTF,全面布局云原生领域产品矩阵。...另外,腾讯云还始终积极对外贡献技术力量,参与了《中间件技术和产业白皮书》的编写,以及《工业互联网平台微服务》国家标准和《消息中间件技术标准》的讨论与制定。...经过多年匠心打磨,腾讯中间件产品已在金融、政府、能源、制造业等行业得到了大规模的应用,但是用户在使用的过程中,到底是什么感受呢?...TVP自成立以来,一直秉承着“用科技影响世界”的愿景,致力于搭建连接技术专家与广大开发者的桥梁,让技术普大家,践行科技向善的初心和本心。

    89640

    鹅厂中间件产品遭遇暴风吐槽

    为了更好地服务使用微服务架构进行软件设计的企业,腾讯云中间件产品基于腾讯在微服务、消息队列领域多年的技术积累,提供了功能强大、兼容并包、生态开放的云原生分布式微服务解决方案和消息队列服务。...全方位打造出7款优秀产品:微服务平台 TSF、消息队列CKafka、金融消息队列TDMQ、微服务观测平台 TSW、弹性微服务 TEM、微服务引擎TSE、分布式事务DTF,全面布局云原生领域产品矩阵。...另外,腾讯云还始终积极对外贡献技术力量,参与了《中间件技术和产业白皮书》的编写,以及《工业互联网平台微服务》国家标准和《消息中间件技术标准》的讨论与制定。...经过多年匠心打磨,腾讯中间件产品已在金融、政府、能源、制造业等行业得到了大规模的应用,但是用户在使用的过程中,到底是什么感受呢?...TVP自成立以来,一直秉承着“用科技影响世界”的愿景,致力于搭建连接技术专家与广大开发者的桥梁,让技术普大家,践行科技向善的初心和本心。

    90220

    鹅厂中间件产品遭遇暴风吐槽!

    为了更好地服务使用微服务架构进行软件设计的企业,腾讯云中间件产品基于腾讯在微服务、消息队列领域多年的技术积累,提供了功能强大、兼容并包、生态开放的云原生分布式微服务解决方案和消息队列服务。...全方位打造出7款优秀产品:微服务平台 TSF、消息队列 CKafka、金融消息队列 TDMQ、微服务观测平台 TSW、弹性微服务 TEM、微服务引擎 TSE、分布式事务 DTF,全面布局云原生领域产品矩阵...另外,腾讯云还始终积极对外贡献技术力量,参与了《中间件技术和产业白皮书》的编写,以及《工业互联网平台微服务》国家标准和《消息中间件技术标准》的讨论与制定。...经过多年匠心打磨,腾讯中间件产品已在金融、政府、能源、制造业等行业得到了大规模的应用,但是用户在使用的过程中,到底是什么感受呢?...TVP 自成立以来,一直秉承着“用科技影响世界”的愿景,致力于搭建连接技术专家与广大开发者的桥梁,让技术普大家,践行科技向善的初心和本心。

    77420

    秒杀丨仅需15.9,深度解析金融IT架构发展方向!

    金融行业的安全、稳定给客户带来的信任,支撑着所有金融业务,这个产品的构建需要强大的技术实力。...博文视点学院联合浙江网商银行,带来视频课《金融IT架构:数字银行的云原生架构解密》视频精解,分享网商银行在金融IT技术上做的独特探索,探讨数字化时代金融IT架构的发展方向。...限时,10个名额,仅需15.9元!...视频课程主要包含以下内容: 1)金融安全架构面临的挑战 2)云计算基础设施架构 3)存储架构的实践 4)分布式数据库的选型与部署架构 5)异地多活单元化架构的设计 6)混合云弹性架构设计 7)为什么要做云原生架构...容器技术和服务网格 10)Serverless 11)多级发布控制和变更自动化管控 12)资金安全三层防线 13)大促活动保障和全链路压测 14)兼顾效率的安全体系建设 15)智能电销场景和案例 15.9元购课

    1.9K30

    高并发下,如何让你的数据库再快一点?

    消息队列拥有消息传递、消息生产、消息消费、优先消息等功能,为我们的分布式系统提供了数据通信、功能解耦、弹性伸缩、数据冗余、限流削峰、异步消息等丰富能力,是分布式系统的一个重要组件。...AMQP是一个应用层协议的开放标准,为面向消息中间件设计,基于此协议的客户端与消息中间件可传递消息,并不受产品、开发语言等条件的限制。...RabbitMQ最初起源于金融系统,它在可靠性、可用性、扩展性、消息持久化、高并发等方面的有着卓越的表现。...一般来说RabbitMQ的单机QPS在万这个级别左右,而Kafka的单机QPS可以达到十万甚至百万。...↓↓一年19.9云数据库点这儿~

    94920

    盘点大厂的那些开源项目 - 微众银行

    作为国内第一家互联网银行、也是首家民营银行,微众银行坚持科技立行、科技兴行的发展之路,致力于推进科技创新,勇于开拓、积极创新,为探索互联网金融新路、践行普金融做出自己的贡献。...,实现了一套符合W3C DID规范的分布式多中心的身份标识协议,和符合W3C VC规范的可验证数字凭证技术,不仅使分布式多中心的身份注册、标识和管理成为可能,机构也可以通过用户授权合法合规地完成可信数据的交换...Event Mesh是一个动态的插件式云原生基础服务层,用于分离应用程序和中间件层。它提供了灵活,可靠和快速的事件分发,并且可以进行管理....开源版本从我们生产环境中剥离出来,经过了金融生产环境的严格验证,是私有化部署的较好方案。...Linkis基于微服务架构,提供了金融多租户隔离、资源管控、权限隔离等企业特性,支持统一变量、UDF、函数、用户资源文件管理,具备高并发、高性能、高可用的大数据作业/请求全生命周期管理能力。

    1.3K30

    5月采购节!移动推送5折起,有效激活存量用户,促活利器!不抢没!!!

    移动推送 TPNS,支持APP弹窗 通知栏推送、应用内消息等多样化推送 助力企业高效激活存量用户 有效提升用户活跃、留存、付费转化 目前已服务200+国家和地区 日推送超500亿,月覆盖设备超15...亿 稳定服务王者荣耀/腾讯视频等高日活应用 广泛应用于电商/金融/游戏/教育等各行业 如此神器!...5月采购节 狂欢送豪礼  新老客户5折起 2022.5.31截止,不可错过!!!...↑限时 立即扫码参与↑ 新客首单 从未买过TPNS的新客首单专享 1万~199万DAU月峰值  1月/6月/1年/2年时长  条数/设备数不限 低至5折,限购1次 老客 不管您是正在使用TPNS...的老客 还是资源已经销毁的老客 都能享受福利 低至5.5折,限购2次 心动不如行动,赶快购买吧!

    2.9K30

    MQ 系列之初识消息中间件

    1.1 简介 1.1.1 概述   消息中间件(MQ)适用于需要可靠的数据传送的分布式环境。采用消息中间件机制的系统中,不同的对象之间通过传递消息来激活对方的事件,完成相应的操作。...小李一看,这么太简单了,啪啪啪,就写好了,执行耗时 500 ms;突然小李发现旁边的老张执行耗时只有 80 ms,就问你怎么比我快这么多。...1.2 常见消息中间件 ActiveMQ:ActiveMQ 是 Apache 出品,最流行的,能力强劲的开源消息总线。...淘宝的 MySQL 集群内部有使用它进行通讯, OpenStack 开源云平台的通信组件,最先在金融行业得到运用。 Kafka:Kafka 是一个分布消息发布订阅系统。...1.3 几种中间件对比 1.3.1 对比表 特性 ActiveMQ RabbitMQ RocketMQ Kafka 单机吞吐量 万,吞吐量比 RocketMQ 和 Kafka 要低了一个数量级 万

    49720

    图说TDSQL | 下一个十年的金融业务场景,腾讯怎么做?

    随着互联网的不断发展和逐渐普及,各行各业也纷纷选择了上云之路,腾讯云数据库致力于运用领先技术,助力企业上云,腾讯云自研的金融分布式数据库TDSQL 是一款具备强一致高可用、全球部署架构、分布式水平扩展...与此同时国产数据库产品已经得到长足发展——腾讯云自研的 TDSQL 就是这样一款部署在云上的一种支持自动水平拆分、SharedNothing 架构的金融国产分布式数据库产品。...,行业场景越来越多,从2012年开始,腾讯基于“开源定制化+自研”策略构建更加通用的金融分布式数据库产品,正式命名为 TDSQL ,目标就是确保金融应用场景高可用、数据一致和水平伸缩。...金融创新业务场景 金融行业对事务处理的需求极高,转账、扣费,无一不是使用事务,TDSQL 通过经典的 XA 两阶段提交加两阶段封锁协议实现了强分布式事务,以支撑金融场景对事务管理的需求。...往期推荐 图说TDSQL | 张家港行,我是你的“破壁人” image.png 体验云数据库  image.png

    96630

    TiDB x 微众银行 | 耗时降低 58%,分布式架构助力实现普金融

    微众.JPG 科技普大众,数据连接智能 从一次惊喜,到每次陪伴 我们让美好发生 微众银行是国内首家开业的民营银行,由腾讯、百业源和立业等多家知名企业发起设立,于 2014 年 12 月获得由深圳银监局颁发的金融许可证...开业 5 年多来,微众银行始终坚持普金融的定位不变,积极运用金融科技构建普金融新业态、新模式,初步走出了一条商业可持续的普金融发展模式。...这些客户全部为民营企业,分布在 27 个省的 200 余座城市,其中,约三分之二的企业客户和 37% 的个人经营贷款客户属首次获得银行贷款,充分体现了微众银行普金融的定位和特色。...不必再采用复杂的中间件分库分表的方式构建数据库,而只用单实例模式承载,极大简化了数据库架构,也降低了业务开发成本。 但同时也遇到一些瓶颈。...与客户同行,相信开放的力量 每次数据库架构改善与落地,无论是 TB 还是 PB ,都需要付出努力,但这也值得每一个企业去做。

    62700

    消息队列介绍

    而现在我们所说的MQ通常指的是独立的消息队列中间件,利用高效可靠的消息传递机制进行与平台无关的数据交流,并基于数据通信来进行分布式系统的集成。...RabbitMQ Erlang语言实现AMQP协议的消息中间件,并发能力很强,性能及其好,延时很低(达到微妙),特点:可靠性,可用性,扩展性,功能丰富。...Kafka LinkedIn使用Scala开发的分布式,多分区,多副本且基于zookeeper协调的分布消息系统,提供了超高的吞吐量,毫秒延迟,极高的可用性和可靠性。...所谓的**消息中间件大道至简:一发一存一消费,没有最好的消息中间件,只有最合适的消息中间件。 ** 带来的问题 引入消息队列后,我们需要考虑哪些问题呢? 1....最后,祝大家新年快乐!

    1.6K10

    数据库半月谈(2023.1.8~2023.2.3)

    半月谈:厂商动态 1).产品侧 ❖ MySQL 8.0.32 GA 新年伊始,MySQL带来了它的最新维护版本8.0.32。...这是 TiDB V6 的第二个长期支持版(上一个是 TiDB 6.1),是推荐企业用户采用的最新版本。...❖ 星环科技:分布式图数据库StellarDB 发布4.1版 1月12日消息,近日,星环科技分布式图数据库StellarDB正式发布4.1版本,在对现有功能进行优化的基础上,新增十多种图算法,并对部分已支持算法进行了性能提升...2).运营侧 ❖ GoldenDB:获2022科技赋能金融业数字化转型突出贡献奖 近日,由《金融电子化》杂志社主办的“2022中国金融科技年会暨第十三届金融科技应用创新奖颁奖典礼”成功举办。...金篆信科“GoldenDB分布式数据库”经过层层遴选,斩获“2022科技赋能金融业数字化转型突出贡献奖”。 ❖ PostgreSQL:2022 年PostgreSQL生态简短总结 详情 3.

    66130

    TDSQL数据库介绍

    TDSQL是什么TDSQL是腾讯云自研企业分布式数据库,旗下涵盖金融分布式、云原生、分析型等多引擎融合的完整数据库产品体系,提供业界领先的金融高可用、计算存储分离、数据仓库、企业安全等能力,同时具备智能运维平台...经过国内落地实践后,腾讯云数据库也开始走向海外,“技术出海”助力金融。2022年底,腾讯云数据库 TDSQL 助力印尼 BNC 银行完成新核心分布式迁移。...基本属性产品名称TDSQL所属国家中国slogan企业分布式数据库核心特性金融分布式, 云原生, 金融高可用, 计算存储分离, 数据仓库, 企业安全最新版本10.3.16.2.x开源地址github.com...,自研分析型数据库TDSQL-A V1(原TBase)发布,上线支撑腾讯大数据业务 2015年,TDSQL上线腾讯云,金融分布式数据库能力全面开放 2018年,基于云原生架构、计算存储分离的TDSQL-C...这种兼容性极大地降低了迁移成本,同时也使得TDSQL能够充分利用MySQL丰富的生态系统,包括各种开发工具、中间件和第三方库。

    15521
    领券