文档建议反馈控制台
首页
学习
活动
专区
圈层
工具
MCP广场
文章/答案/技术大牛
发布

腾讯开源万亿级分布式消息中间件 TubeMQ

beMQ 是腾讯在 2013 年自研的分布式消息中间件系统，专注服务大数据场景下海量数据的高性能存储和传输，经过近 7 年上万亿的海量数据沉淀，目前日均接入量超过 25 万亿条。...变更及查询实现了完整的自动化闭环管理，减轻了系统维护的复杂度； 服务器侧消费负载均衡 Tube MQ 采用的是服务侧负载均衡的方案，而不是客户端侧操作，提升系统的管控能力同时简化客户端实现，更便于均衡算法升级； 系统行级锁操作...对于 Broker 消息读写中存在中间状态的并发操作采用行级锁，避免重复问题； Offset 管理调整 Offset 由各个 Broker 独自管理，ZK 只作数据持久化存储用（最初考虑完全去掉 ZK...依赖，考虑到后续的功能扩展就暂时保留）； 消息读取机制的改进 Tube MQ 采用的是消息随机读取模式, 同时为了降低消息时延又增加了内存缓存读写, 对于带 SSD 设备的机器, 增加消息滞后转 SSD...消费时延分级保证、消费限流控制，以及数据拉取频率控制等； 系统安全管控 根据业务不同的数据服务需要，以及系统运维安全的考虑，Tube MQ 系统增加了 TLS 传输层加密管道，生产和消费服务的认证、授权，以及针对分布式访问控制的访问令牌管理

2.3K60

腾讯万亿级分布式消息中间件TubeMQ正式开源

TubeMQ是腾讯在2013年自研的分布式消息中间件系统，专注服务大数据场景下海量数据的高性能存储和传输，经过近7年上万亿的海量数据沉淀，目前日均接入量超过25万亿条。...系统行级锁操作 对于Broker消息读写中存在中间状态的并发操作采用行级锁，避免重复问题； 5. ...消息读取机制的改进 Tube MQ采用的是消息随机读取模式,同时为了降低消息时延又增加了内存缓存读写,对于带SSD设备的机器,增加消息滞后转SSD消费的处理，解决消费严重滞后时吞吐量下降以及SSD磁盘容量小...系统安全管控 根据业务不同的数据服务需要，以及系统运维安全的考虑，Tube MQ系统增加了TLS传输层加密管道，生产和消费服务的认证、授权，以及针对分布式访问控制的访问令牌管理，满足业务和系统运维在系统安全方面的需求...客户端改进 基于业务使用上的便利性以，我们简化了客户端逻辑，使其做到最小的功能集合，我们采用基于响应消息的接收质量统计算法来自动剔出坏的Broker节点，基于首次使用时作连接尝试来避免大数据量发送时发送受阻

1.9K72
    • 您找到你想要的搜索结果了吗？
    是的
    没有找到

    应对流量高峰的利器——消息中间件

    在分布式系统里面，实现消费队列的一种主要方式就是采用消息中间件。 什么是消息中间件 消息中间件（Message Broker）是一种在分布式系统中用于传递消息、通知和事件的基础架构组件。...RocketMQ 特点： RocketMQ 是阿里巴巴早些年开源的 MQ 框架，基于 Java 语言写的，后来捐给了Apache，是一款快速、可靠、可扩展的分布式消息中间件。...适用场景： RocketMQ 适用于需要高性能、低延迟、可扩展性的大规模应用，如电商平台、金融系统、物联网应用等。 5....Kafka 特点： Kafka 是一款高吞吐量、低延迟的分布式消息中间件，适用于大规模数据处理和实时流处理。 主要用于发布-订阅模型，将消息以日志形式存储。...建议在选择消息中间件之前仔细评估你的应用需求，并根据具体情况进行选择。 当然，无论选择哪种消息中间件，都需要深入了解其特点和使用方式，以确保它能够满足应用需求，以构建高效、可靠的分布式系统。 8.

    91950

    重庆农商行构建一体化云原生PaaS平台，实现研发效率与系统稳定性双提升

    核心痛点在于需在全信创环境（IaaS为XX信创云，CPU为海光3，操作系统为UOS）下，构建一个能够统一技术标准、提升研发效率、并具备金融级容灾能力的分布式云原生PaaS平台，以支撑其核心交易类、管理类及运维类业务系统...基于腾讯云原生技术构建一体化PaaS解决方案 重庆农商行联合腾讯云，通过整合微服务框架TSE、容器平台TCS、消息中间件TDMQ与Ckafka、以及缓存中间件Credis等产品，打造了一体化云原生PaaS...该方案的关键举措包括： 统一中间件基础能力：对微服务、消息、缓存等中间件进行封装整合，形成统一接入规范，实现资源动态调配。...“通过对微服务平台TSF、消息中间件TDMQ及Ckafka、缓存中间件Credis的封装及整合，形成统一的中间件接入规范，极大的减轻了业务系统开发的难度及耗时。”...腾讯云微服务框架TSE、容器平台TCS及系列中间件产品，有效帮助重庆农商行在非腾讯云IaaS上成功构建了金融级云原生底座，实现了技术架构的统一与标准化，为业务持续创新提供了坚实的技术保障。

    18910

    深度解析Apache RocketMQ：从核心原理到实战应用

    在分布式系统与微服务架构中，消息中间件扮演着“桥梁”与“缓冲”的关键角色，负责实现服务解耦、异步通信、流量削峰等核心诉求。...Apache RocketMQ作为一款源自阿里、捐献给Apache基金会的开源消息中间件，凭借其金融级可靠性、丰富的功能特性及优秀的性能表现，已成为互联网、金融、电商等领域的主流选择。...其设计目标是打造一款“金融级可靠、高吞吐、低延迟、功能丰富”的消息中间件，既满足普通业务的异步通信需求，也能支撑金融交易、电商订单等对一致性要求极高的核心场景。...RabbitMQ 核心定位 金融级消息中间件，平衡可靠与性能 分布式流处理平台，高吞吐优先 企业级消息代理，灵活路由优先 吞吐量 高（接近Kafka，十万级TPS） 极高（百万级TPS，大数据首选）...九、总结 Apache RocketMQ凭借其金融级可靠性、丰富的高级特性、简洁的架构设计及云原生演进能力，已成为分布式系统中核心的消息中间件选择。

    1.1K10

    消息中间件选型分析 —— 从 Kafka 与 RabbitMQ 的对比来看全局

    （简称消息中间件）是指利用高效可靠的消息传递机制进行与平台无关的数据交流，并基于数据通信来进行分布式系统的集成。...RabbitMQ是采用Erlang语言实现的AMQP协议的消息中间件，最初起源于金融系统，用于在分布式系统中存储转发消息。...对于消息中间件而言，消息的链路追踪（以下简称消息追踪）同样重要。对于消息追踪最通俗的理解就是要知道消息从哪来，存在哪里以及发往哪里去。...消息中间件可以作为用来实现分布式事务的一种手段，但其本身并不提供全局分布式事务的功能。 下表是对Kafka与RabbitMQ功能的总结性对比及补充说明。...可靠性+可用性 消息丢失是使用消息中间件时所不得不面对的一个同点，其背后消息可靠性也是衡量消息中间件好坏的一个关键因素。尤其是在金融支付领域，消息可靠性尤为重要。

    1.5K20

    IM系统的MQ消息中间件选型：Kafka还是RabbitMQ？

    RabbitMQ 是采用 Erlang 语言实现的 AMQP 协议的消息中间件，最初起源于金融系统，用于在分布式系统中存储转发消息。...优先级队列： 优先级队列不同于先进先出队列，优先级高的消息具备优先被消费的特权，这样可以为下游提供不同消息级别的保证。...对于消息追踪最通俗的理解就是要知道消息从哪来，存在哪里以及发往哪里去。基于此功能下，我们可以对发送或者消费完的消息进行链路追踪服务，进而可以进行问题的快速定位与排查。...消息中间件可以作为用来实现分布式事务的一种手段，但其本身并不提供全局分布式事务的功能。...8、具体技术选型指标3：可靠性 + 可用性 消息丢失是使用消息中间件时所不得不面对的一个同点，其背后消息可靠性也是衡量消息中间件好坏的一个关键因素。尤其是在金融支付领域，消息可靠性尤为重要。

    1.5K20

    腾讯专有云TCE 高可用技术白皮书

    ） #缓存数据库CRedis（二级类目：CloudDB for Redis） #流式消息引擎TDMQ-Kafka（二级类目：TDMQ for CKafka） #消息队列TDMQ-Pulsar...#分布式存储平台（二级类目：三副本冗余存储） #快照备份系统（二级类目：跨区域数据备份） 第二章：报告背景和目标 报告聚焦政企、金融等关键行业客户对业务连续性的核心诉求，以RTO（业务恢复时间...研究价值在于通过腾讯专有云TCE的“八横四纵”高可用体系（四纵：硬件组件级、节点级、机柜级、AZ级；八横：基础设施、网络连接、计算调度、存储、中间件与数据库、微服务框架、应用、管控底座），提供多部署模式...•核心分析模型：“八横四纵”高可用体系（四纵：硬件组件级、节点级、机柜级、AZ级故障容忍；八横：基础设施、网络连接、计算调度、存储、中间件与数据库、微服务框架、应用、管控底座高可用能力）。...•国际性与技术领先：TCE高可用架构获金融客户验证，跻身全球分布式云平台领导者象限；自研产品如TDSQL分布式数据库（强一致跨AZ同步）、TDMQ-Pulsar金融级消息中间件（跨AZ强一致）、CRedis

    85210

    重庆农商行基于 Tencent TCS 构建两地三中心金融级容灾平台，荣获信通院专有云优秀案例

    在2024年信通院专有云优秀案例评比中，重庆农村商业银行股份有限公司（以下简称“重庆农商行”）以“重庆农商行两地三中心金融级容灾云原生PaaS云平台”获奖。...项目以腾讯专有云PaaS平台（Tencent TCS PaaS平台），建设重庆农商行两地三中心金融级容灾云原生PaaS云平台，打造一体化、分布式云原生PaaS平台，统一技术标准和接入规范，提升研发效率。...项目解决方案 通过Tencent TCS PaaS平台提供微服务框架TSF和容器服务，结合腾讯云消息中间件TDMQ及Ckafka和缓存中间件Credis等产品，构建重庆农商行金融级云原生技术底座。...通过对微服务平台TSF、消息中间件TDMQ及Ckafka、缓存中间件Credis的封装及整合，形成统一的中间件接入规范，极大地减轻了业务系统开发的难度及耗时，平台按需对资源进行动态调配，满足业务系统动态扩缩容的要求...依托Tencent TCS PaaS平台解决方案，屏蔽基础设施的复杂性与多样性，构建金融级云原生底座，配合已构建的中间件基础能力，形成重庆农商行独有的平台服务能力。 一体化的监控运维体系。

    1.3K10

    消息中间件选型分析

    一、前言 消息队列中间件（简称消息中间件）是指利用高效可靠的消息传递机制进行与平台无关的数据交流，并基于数据通信来进行分布式系统的集成。...RabbitMQ是采用Erlang语言实现的AMQP协议的消息中间件，最初起源于金融系统，用于在分布式系统中存储转发消息。...对于消息追踪最通俗的理解就是要知道消息从哪来，存在哪里以及发往哪里去。基于此功能下，我们可以对发送或者消费完的消息进行链路追踪服务，进而可以进行问题的快速定位与排查。...消息中间件可以作为用来实现分布式事务的一种手段，但其本身并不提供全局分布式事务的功能。 下表是对Kafka与RabbitMQ功能的总结性对比及补充说明。...可靠性+可用性 消息丢失是使用消息中间件时所不得不面对的一个同点，其背后消息可靠性也是衡量消息中间件好坏的一个关键因素。尤其是在金融支付领域，消息可靠性尤为重要。

    1.4K10

    消息中间件选型分析

    一、前言 消息队列中间件（简称消息中间件）是指利用高效可靠的消息传递机制进行与平台无关的数据交流，并基于数据通信来进行分布式系统的集成。...RabbitMQ是采用Erlang语言实现的AMQP协议的消息中间件，最初起源于金融系统，用于在分布式系统中存储转发消息。...对于消息追踪最通俗的理解就是要知道消息从哪来，存在哪里以及发往哪里去。基于此功能下，我们可以对发送或者消费完的消息进行链路追踪服务，进而可以进行问题的快速定位与排查。...消息中间件可以作为用来实现分布式事务的一种手段，但其本身并不提供全局分布式事务的功能。 下表是对Kafka与RabbitMQ功能的总结性对比及补充说明。...可靠性+可用性 消息丢失是使用消息中间件时所不得不面对的一个同点，其背后消息可靠性也是衡量消息中间件好坏的一个关键因素。尤其是在金融支付领域，消息可靠性尤为重要。

    1.9K42

    Kafka or RabbitMQ：消息中间件选型深入分析

    一、前言 消息队列中间件（简称消息中间件）是指利用高效可靠的消息传递机制进行与平台无关的数据交流，并基于数据通信来进行分布式系统的集成。...RabbitMQ是采用Erlang语言实现的AMQP协议的消息中间件，最初起源于金融系统，用于在分布式系统中存储转发消息。...对于消息追踪最通俗的理解就是要知道消息从哪来，存在哪里以及发往哪里去。基于此功能下，我们可以对发送或者消费完的消息进行链路追踪服务，进而可以进行问题的快速定位与排查。...消息中间件可以作为用来实现分布式事务的一种手段，但其本身并不提供全局分布式事务的功能。...可靠性+可用性 消息丢失是使用消息中间件时所不得不面对的一个同点，其背后消息可靠性也是衡量消息中间件好坏的一个关键因素。尤其是在金融支付领域，消息可靠性尤为重要。

    1.2K20

    消息中间件选型分析——从Kafka与RabbitMQ的对比来看全局

    一、前言 消息队列中间件（简称消息中间件）是指利用高效可靠的消息传递机制进行与平台无关的数据交流，并基于数据通信来进行分布式系统的集成。...RabbitMQ是采用Erlang语言实现的AMQP协议的消息中间件，最初起源于金融系统，用于在分布式系统中存储转发消息。...对于消息追踪最通俗的理解就是要知道消息从哪来，存在哪里以及发往哪里去。基于此功能下，我们可以对发送或者消费完的消息进行链路追踪服务，进而可以进行问题的快速定位与排查。...消息中间件可以作为用来实现分布式事务的一种手段，但其本身并不提供全局分布式事务的功能。 下表是对Kafka与RabbitMQ功能的总结性对比及补充说明。...可靠性+可用性 消息丢失是使用消息中间件时所不得不面对的一个同点，其背后消息可靠性也是衡量消息中间件好坏的一个关键因素。尤其是在金融支付领域，消息可靠性尤为重要。

    2.6K70

    RabbitMQ-RocketMQ和Kafka有什么区别

    RocketMQ 是一个分布式消息中间件，最初由阿里巴巴集团开发，并于2012年开源。自2016年起，它成为Apache软件基金会的顶级项目。...丰富的消息类型：支持普通消息、顺序消息、事务消息、定时消息等多种消息类型。 灵活的部署结构：支持单机、主从复制、分布式集群等多种部署方式。...提供最严格的顺序保证，适合金融交易 Kafka 分区内有序，RabbitMQ 单队列有序 延迟表现： RabbitMQ 延迟最低 (微秒级)，适合实时响应系统 RocketMQ 和 Kafka 毫秒级延迟...可靠性设计： RocketMQ 针对金融场景设计，支持事务消息和消息回溯 RabbitMQ 提供灵活的路由和死信处理 Kafka 保证持久化但不支持死信队列 选型建议： 选择 RabbitMQ 当：需要快速搭建消息系统...、复杂路由规则、低延迟响应、企业应用集成 选择 RocketMQ 当：需要金融级可靠性、严格消息顺序、事务支持、电商交易场景 选择 Kafka 当：处理海量数据流、构建实时分析系统、日志聚合、事件溯源架构

    47610

    【金猿信创展】恒生电子——全栈式信创解决方案，助力金融信创行稳致远

    核心技术及产品突破 1、分布式微服务中间件Light-JRES Light-JRES是面向金融领域的企业级应用快速开发平台和多系统融合平台，既减轻对基础设施的依赖，又从业务上具备可复用、可扩展、高安全的特性...JRES中间件是实现对通用技术组件的服务化，譬如：分布式缓存、消息队列、分布式事务等等，通过应用共享以及多租户隔离实现技术组件最大程度复用，降低系统的资源消耗让技术组件和业务公共模块下沉，从而做到支持业务的快速创新和迭代...2、分布式低延时中间件Light-LDP Light-LDP是具有集低延时、分布式解耦、灵活开放等特点的开发平台，支持金融机构微秒级业务应用，主要面向券商自营、券商资管以及券商机构业务的策略交易、算法交易...3、金融级分布式数据库LightDB LightDB是一款支持在线事务处理与在线分析处理的融合型分布式数据库，具备SQL兼容性高、容量弹性伸缩、金融级高可用、现代硬件融合、纯内存计算等核心特性，适用于对可用性...LightDB具有“更快、更稳、更懂金融”的企业级特性：采用单机分布式一体化架构，同时支持集中式和分布式部署，在长时间高负载压测下抖动很低；性能方面，在同机房高可用信创软硬件下、单节点进行证券典型订单TPS

    2K30

    一文带你读懂中间件

    得益于政府、金融、电信等行业信息化建设的提速，以及用户对基于云的分布式应用服务、消息队列等中间件工具的需求增长，未来，中间件市场将保持稳定增长的态势。...基础中间件 中间件产生之初主要解决分布式环境下软件性能和可靠性的问题，包括交易中间件、消息中间件等。此后，为满足应用软件在不同硬件平台、网络环境下运行的需求，应用服务器中间件随之出现。...交易中间件适用于联机交易系统，如银行业务系统、订票系统等，在金融、财税、电信等行业中得到广泛落地。 消息中间件解决了分布式计算环境下多个子系统间的消息通信问题。...2019年，公司获得华为优选级认证服务解决方案伙伴认证，多款产品通过华为自有数据库、操作系统的兼容性认证。 金蝶天燕 公司是基础软件行业的软件开发商，成立于2000年，2017年于新三板挂牌上市。...团队自主研发的一系列产品在2007年底开始的淘宝架构2.0到3.0变迁过程中，使淘宝网从集中式的Java应用走向了分布式Java应用，涵盖消息中间件、服务框架、数据层、应用服务器和大规模分布式稳定性平台等

    5.4K40

    重庆农商银行：一体化云原生PaaS平台提升科技研发效率

    应对全信创环境下的架构升级挑战作为全国首家万亿级农商行及“2024世界银行1000强”全国农商行首位，重庆农商银行致力于打造自主可控、智能高效的金融科技平台。...在此复杂的异构基础设施之上，银行急需打造领先的分布式云原生PaaS平台，打破技术孤岛，统一技术标准和接入规范，以解决研发效率瓶颈并确保系统在信创环境下的稳定性。...通过引入腾讯云微服务框架TSF和容器服务平台TCS，结合消息中间件TDMQ&Ckafka以及缓存中间件Credis，成功构建了重庆农商银行的金融级云原生技术底座。...统一中间件接入：对微服务、消息队列及缓存组件进行统一封装与整合，极大降低了业务系统开发的难度与耗时。...确立金融级容灾与自动化运维体系基于一体化云原生PaaS平台的建设，重庆农商银行实现了业务系统的高可用部署与高效交付，核心成效如下：金融级容灾架构：在异构IaaS之上，成功建设了2地3中心金融级容灾云原生

    24600

    重庆农商银行：一体化云原生PaaS平台提升科技研发效率

    应对全信创环境下的架构升级挑战作为全国首家万亿级农商行及“2024世界银行1000强”全国农商行首位，重庆农商银行致力于打造自主可控、智能高效的金融科技平台。...在此复杂的异构基础设施之上，银行急需打造领先的分布式云原生PaaS平台，打破技术孤岛，统一技术标准和接入规范，以解决研发效率瓶颈并确保系统在信创环境下的稳定性。...通过引入腾讯云微服务框架TSF和容器服务平台TCS，结合消息中间件TDMQ&Ckafka以及缓存中间件Credis，成功构建了重庆农商银行的金融级云原生技术底座。...统一中间件接入：对微服务、消息队列及缓存组件进行统一封装与整合，极大降低了业务系统开发的难度与耗时。...确立金融级容灾与自动化运维体系基于一体化云原生PaaS平台的建设，重庆农商银行实现了业务系统的高可用部署与高效交付，核心成效如下：金融级容灾架构：在异构IaaS之上，成功建设了2地3中心金融级容灾云原生

    25700

    探索 RocketMQ：企业级消息中间件的选择与应用

    探索 RocketMQ：企业级消息中间件的选择与应用一、关于RocketMQRocketMQ 是一个高性能、高可靠、可扩展的分布式消息中间件，它是由阿里巴巴开发并贡献给 Apache 软件基金会的一个开源项目...RocketMQ作为一款纯java、分布式、队列模型的开源消息中间件，支持事务消息、顺序消息、批量消息、定时消息、消息回溯等，总之就是葛大爷的一句话。​‍‍‍...由于传统的消息队列无法承受亿级用户的访问流量和海量数据传输，诞生了互联网消息中间件，核心能力是全面采用分布式架构、具备很强的横向扩展能力，开源典型代表有 Kafka、RocketMQ，闭源的还有淘宝 Notify...2012年：阿里巴巴开源其自研的第三代分布式消息中间件——RocketMQ。经过几年的技术打磨，阿里称基于RocketMQ技术，目前双十一当天消息容量可达到万亿级。...RocketMQ 支持事务消息（Transaction Message），能够确保分布式事务的准确性，适合在银行、电商金融、支付系统中进行实时交易消息处理。

    1.3K10

    IM系统的MQ消息中间件选型：Kafka还是RabbitMQ？

    RabbitMQ 是采用 Erlang 语言实现的 AMQP 协议的消息中间件，最初起源于金融系统，用于在分布式系统中存储转发消息。...优先级队列： 优先级队列不同于先进先出队列，优先级高的消息具备优先被消费的特权，这样可以为下游提供不同消息级别的保证。...不过这个优先级也是需要有一个前提的：如果消费者的消费速度大于生产者的速度，并且消息中间件服务器（一般简单的称之为 Broker）中没有消息堆积，那么对于发送的消息设置优先级也就没有什么实质性的意义了，因为生产者刚发送完一条消息就被消费者消费了...对于消息追踪最通俗的理解就是要知道消息从哪来，存在哪里以及发往哪里去。基于此功能下，我们可以对发送或者消费完的消息进行链路追踪服务，进而可以进行问题的快速定位与排查。...8、具体技术选型指标3：可靠性 + 可用性 消息丢失是使用消息中间件时所不得不面对的一个同点，其背后消息可靠性也是衡量消息中间件好坏的一个关键因素。尤其是在金融支付领域，消息可靠性尤为重要。

    2.5K30
    点击加载更多

    相关资讯

    热门标签

    更多标签

    活动推荐

      运营活动

      活动名称
      广告关闭

      腾讯云开发者

      扫码关注腾讯云开发者

      扫码关注腾讯云开发者

      领取腾讯云代金券

      热门产品

      热门推荐

      更多推荐

      Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有

      深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 粤公网安备44030502008569号

      腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号

      领券