beMQ 是腾讯在 2013 年自研的分布式消息中间件系统，专注服务大数据场景下海量数据的高性能存储和传输，经过近 7 年上万亿的海量数据沉淀，目前日均接入量超过 25 万亿条。...变更及查询实现了完整的自动化闭环管理，减轻了系统维护的复杂度； 服务器侧消费负载均衡 Tube MQ 采用的是服务侧负载均衡的方案，而不是客户端侧操作，提升系统的管控能力同时简化客户端实现，更便于均衡算法升级； 系统行级锁操作...对于 Broker 消息读写中存在中间状态的并发操作采用行级锁，避免重复问题； Offset 管理调整 Offset 由各个 Broker 独自管理，ZK 只作数据持久化存储用（最初考虑完全去掉 ZK...依赖，考虑到后续的功能扩展就暂时保留）； 消息读取机制的改进 Tube MQ 采用的是消息随机读取模式, 同时为了降低消息时延又增加了内存缓存读写, 对于带 SSD 设备的机器, 增加消息滞后转 SSD...消费时延分级保证、消费限流控制，以及数据拉取频率控制等； 系统安全管控 根据业务不同的数据服务需要，以及系统运维安全的考虑，Tube MQ 系统增加了 TLS 传输层加密管道，生产和消费服务的认证、授权，以及针对分布式访问控制的访问令牌管理
TubeMQ是腾讯在2013年自研的分布式消息中间件系统，专注服务大数据场景下海量数据的高性能存储和传输，经过近7年上万亿的海量数据沉淀，目前日均接入量超过25万亿条。...系统行级锁操作 对于Broker消息读写中存在中间状态的并发操作采用行级锁，避免重复问题； 5. ...消息读取机制的改进 Tube MQ采用的是消息随机读取模式,同时为了降低消息时延又增加了内存缓存读写,对于带SSD设备的机器,增加消息滞后转SSD消费的处理，解决消费严重滞后时吞吐量下降以及SSD磁盘容量小...系统安全管控 根据业务不同的数据服务需要，以及系统运维安全的考虑，Tube MQ系统增加了TLS传输层加密管道，生产和消费服务的认证、授权，以及针对分布式访问控制的访问令牌管理，满足业务和系统运维在系统安全方面的需求...采用连接复用模式，减少连接资源消耗；通过逻辑分区构造，减少系统对文件句柄数的占用，通过服务器端过滤模式，减少网络带宽资源使用率；通过剥离对Zookeeper的使用，减少Zookeeper的强依赖及瓶颈限制； 11
每年“双11”都是一场电商盛会，消费者狂欢日。今年双11的意义尤为重大，它已经发展成为全世界电商和消费者都参与进来的盛宴。...分布式数据架构 支付宝在2015年双十一当天的高峰期间处理支付峰值8.59万笔/秒，已经是国际第一大系统支付。...以下是分布式事务框架的流程图： ? 实现： 一个完整的业务活动由一个主业务服务与若干从业务服务组成。 主业务服务负责发起并完成整个业务活动。 从业务服务提供TCC型业务操作。...在之前的架构中，系统的秒级处理能力无法有效衡量，通过简单的引流压测无法得到更加准确、可信的数据。立足于金融云，系统很快通过全链路压测得到了每秒处理4w笔支付的稳定能力。...为了保证蚂蚁花呗双11期间的授信资金充足，在金融云体系下搭建了机构资产中心，对接支付清算平台，将表内的信贷资产打包形成一个一定期限的资产池，并以这个资产池为基础，发行可交易证券进行融资，即通过资产转让的方式获得充足资金
中间层就是采用小型机，其中 KCXP 和 KCBP 是金证公司的消息中间件和业务中间件。往上前端是前置解析是用的 WebLogic，负载均衡用的硬件负载均衡。 ?...另外当年要参加支付宝这边的双 11 活动，以当时的系统处理能力来讲，肯定是做不到的。 二期云端架构 基于这些原因，需要对一期的系统做优化，怎么优化？...目前来讲应对春节、双11、国庆长假等场景，系统都能稳定应对这些。 ?...比如对于在线交易，可以采用经过阿里支付宝验证过的 OB，专门用于解决金融级的分布式关系数据库的解决方案； 对于批量结算，可以继续沿用多年来在余额宝已经用的很娴熟的 RDS 集群。...异步调用 异步调用主要靠消息中间件。金融系统对消息中间件的可靠性要求非常高，这块我们还是沿用传统思路，并不想采用开源解决方案去填那些坑，更多考虑采用成熟金融级消息中间件来做这件事情。 ?
二、阿里双11背后的技术 ? 1. 云计算 利用云计算弹性能力，支撑交易峰值每秒32.5万笔、支付峰值每秒25.6万笔的混合云弹性架构。 2. 分布式消息引擎 在双11当天实现万亿级消息流转。 3....物流技术 菜鸟通过包裹预测、供应链入库、订单下沉、订单路由调度、电子面单及智能分单，以及末端小件员，涉及十亿级包裹的双11之战。...总之，双11将涉及：基础设施、存储、中间件、云计算、业务架构、大数据、认知计算与人工智能、交互技术等技术领域。...充分利用消息中间件削峰 这里有相关的阿里消息中间件(Notify和MetaQ)，以及开源的(ActiveMQ、Kafka等)。...现在对数据库的拆分，都是利用数据库层中间件(淘宝 tddl)，来进行无缝对数据库的侵入设计。 除此以外还会涉及到分布式小文件存储以及搜索引擎，以及服务器集群监控等技术。
核心技术及产品突破 1、分布式微服务中间件Light-JRES Light-JRES是面向金融领域的企业级应用快速开发平台和多系统融合平台，既减轻对基础设施的依赖，又从业务上具备可复用、可扩展、高安全的特性...JRES中间件是实现对通用技术组件的服务化，譬如：分布式缓存、消息队列、分布式事务等等，通过应用共享以及多租户隔离实现技术组件最大程度复用，降低系统的资源消耗让技术组件和业务公共模块下沉，从而做到支持业务的快速创新和迭代...2、分布式低延时中间件Light-LDP Light-LDP是具有集低延时、分布式解耦、灵活开放等特点的开发平台，支持金融机构微秒级业务应用，主要面向券商自营、券商资管以及券商机构业务的策略交易、算法交易...3、金融级分布式数据库LightDB LightDB是一款支持在线事务处理与在线分析处理的融合型分布式数据库，具备SQL兼容性高、容量弹性伸缩、金融级高可用、现代硬件融合、纯内存计算等核心特性，适用于对可用性...LightDB具有“更快、更稳、更懂金融”的企业级特性：采用单机分布式一体化架构，同时支持集中式和分布式部署，在长时间高负载压测下抖动很低；性能方面，在同机房高可用信创软硬件下、单节点进行证券典型订单TPS
每年“双 11”都是一场电商盛会，消费者狂欢日。今年双 11 的意义尤为重大，它已经发展成为全世界电商和消费者都参与进来的盛宴。...而对技术人员来说，双十一无疑已经成为一场大考，考量的角度是整体架构、基础中间件、运维工具、人员等。...以下是分布式事务框架的流程图： ? 实现： 一个完整的业务活动由一个主业务服务与若干从业务服务组成。 主业务服务负责发起并完成整个业务活动。 从业务服务提供 TCC 型业务操作。...在之前的架构中，系统的秒级处理能力无法有效衡量，通过简单的引流压测无法得到更加准确、可信的数据。立足于金融云，系统很快通过全链路压测得到了每秒处理 4w 笔支付的稳定能力。...为了保证蚂蚁花呗双 11 期间的授信资金充足，在金融云体系下搭建了机构资产中心，对接支付清算平台，将表内的信贷资产打包形成一个一定期限的资产池，并以这个资产池为基础，发行可交易证券进行融资，即通过资产转让的方式获得充足资金
万QPS 读写12万QPS 同步算法 ISR（Replica） ISR（Replica） GM 同步双写 Raft 可用性 可用性很高，主从自动切换，腾讯云消息服务承诺可用性99.95% 可用性高，主从自动切换...，故障情况极少发生 可靠性低；Broker 只有异步刷盘机制并主备只有异步复制，可能会导致丢失部分消息 可靠性高；发送消息时，指定消息为持久化就会写入到磁盘 可靠性高；Broker 同步双写，主备都写成功才返回成功...Ckafka和CMQ都作为消息中间件都支持集群部署、高吞吐量、强一致等特性，那这两款产品最主要的区别是什么，分别更适合哪些场景使用？...在这些地方，Ckafka非常好用 实时处理网站活动（PV，搜索，用户其他活动等） 完美的“日志收集中心” 大数据入口和连接器 image.png 2、TDMQ-CMQ 消息队列 CMQ 版（TDMQ...for CMQ，简称 TDMQ CMQ 版）是一种分布式消息队列服务，它具有可靠的、基于消息的异步通信机制，能够将分布式部署的不同应用（或同一应用的不同组件）中的信息传递，存储在可靠有效的消息队列中，防止消息丢失
Google Spanner F1 - 第一个真正意义上 NewSQL 数据库 全球级分布式关系型数据库，数十万机器组成一个超大的数据库集群。...基于 2014 年 Stanford 工业级分布式一致性协议实现 Raft 博士论文，已成为事实工业标准。...OLTP - 直销金融：营销活动平台 TiDB 的解决之道： 面向业务应用侧，完全采用了兼容 MySQL 的协议，应用迁移低成本，低风险，且迁移周期极短，满足 了用户的周活动间隔的变更窗口要求。...OLAP - 交易监控：实时交易监察与监控平台 TiDB 的解决之道： 利用消息中间件，将交易系统的交易记录和撮合日志，流式写入 TiDB，利用 TiDB 的分布式存储，高性能 数据写入和弹性存储。...OLAP - 风控：实时风控 TiDB 的解决之道： 风控数据通过信息中间件双写Hive/Hadoop（历史库/历史分析） TiDB的分布式存储引擎架构，非常轻松地应对海量风控数据的导入，存储和查询处理
为了更好地服务使用微服务架构进行软件设计的企业，腾讯云中间件产品基于腾讯在微服务、消息队列领域多年的技术积累，提供了功能强大、兼容并包、生态开放的云原生分布式微服务解决方案和消息队列服务。...全方位打造出7款优秀产品：微服务平台 TSF、消息队列 CKafka、金融级消息队列 TDMQ、微服务观测平台 TSW、弹性微服务 TEM、微服务引擎 TSE、分布式事务 DTF，全面布局云原生领域产品矩阵...经过多年匠心打磨，腾讯中间件产品已在金融、政府、能源、制造业等行业得到了大规模的应用，但是用户在使用的过程中，到底是什么感受呢？...为了打造用户更为喜爱的技术产品，TVP 首创了技术圈吐槽形式的活动—— TVP 吐槽大会。...腾讯云微服务和消息队列产品，面对疾风吧！各位产品大大请接招！ 往期 推荐 《头条！Tencent Kona JDK11 正式开源，提升 50% 峰值性能！》
导语 2021年12月1日，腾讯云分布式消息队列 TDMQ Pulsar 版正式商业化。...金融级分布式消息中间件 消息队列 TDMQ Pulsar 版是一款基于 Apache Pulsar 自研的金融级分布式消息中间件，具备高一致、高可靠、高并发特性，可为分布式应用系统提供异步解耦和削峰填谷的能力...TDMQ Pulsar 版是一款经历了3年千亿级交易流水考验的消息队列，也是目前真正做到计算与存储分离的云消息队列，从架构上实现了云原生无状态，更加迎合Serverless的趋势。...削峰填谷 企业不定时举办的一些营销活动，如新品发布上线，节日抢红包等，往往都会带来临时性的流量洪峰，这对后端的各个应用系统考验是十分巨大的，如果直接采用扩容方式应对又会带来一定的资源浪费。...截至2021年11月底，消息队列 TDMQ Pulsar 版已有上百家活跃的企业用户。
由于 activemq 承担着消息服务的重要角色，在这篇文章中我们重点讲述在灾备双活建设中 activemq 设计、规划、部署。...目标 灾备双活建设最完美的架构设计：在同城、异地 2 个数据中心，在最极端情况下，例如单数据中心垮掉情况下，保证消息零丢失，支持 7*24 服务要求。...3) 服务影响 正常情况下，对于客户端的连接平均分布在两个机房中，出现单个机房故障后，连接在故障机房中的连接会断开，正在执行未提交的事务将会回滚，对于发起的新连接不受任何影响，依然可以通过配置的负载策略访问正常机房中的消息中间件服务...活动预告 云南的朋友们有福利了，云和恩墨大讲堂-云南站，将于 8.31（下周五）在昆明举办。...同时结合 Broker-Cluster，Broker-Cluster 的部署方式可以解决负载均衡和分布式问题，因为单一主从方式无法解决负载均衡的问题。 ● 如何保证未消费消息在各个节点间的同步？
本篇案例为数据猿推出的大型“金融大数据主题策划”活动（查看详情）第一部分的系列案例/征文；感谢 恒丰银行 的投递 作为整体活动的第二部分，2017年6月29日，由数据猿主办，上海金融行业信息协会、互联网普惠金融研究院联合主办...周期/节奏 2015年9月至11月，大数据实时流处理平台可行性分析，技术组件选型。 2015年11月，项目启动。...netty技术的NIO框架，不需要额外配置Weblogic或者WebSphere等中间件服务器，降低使用成本，支持更多客户端连接，单节点每秒5000万消息处理；1GB内存250万Actor，消息传递机制实现分布式微服务协同...异构系统集成 流处理平台通过建立自己的分布式实时消息总线与周边系统集成，该消息总线以Akka的消息处理框架为核心枢纽。...恒丰银行目前绝大多数应用采用同城双中心双活，应用在每个中心的部署单元也是集群多活形式，应用从传统物理机环境迁移到云环境后，节点数增多，与之对应的是日志采集客户端的增多。
腾讯云微服务与消息队列专场 开箱即用的云上全场景中间件解决方案 9月7日，40+专场活动将在线上掀起一股科技飓风，为大家带来一场前沿科技的盛宴。...作为腾讯云的分布式消息中间件，TDMQ RocketMQ版具备低延迟、高性能、高可靠、万亿级消息容量和灵活可扩展等特点。...嘉宾介绍：纪宇鹏，腾讯云分布式消息队列 TDMQ 产品经理，拥有多年云计算产品设计经验，主导并参与多款消息队列产品的设计和商业化工作，帮助企业客户在分布式架构下更好地利用消息队列满足业务需求，致力于将开源技术红利和架构优势应用到商业化产品中...嘉宾介绍：汪彬彬，腾讯云高级解决方案架构师，10年+IT从业经验，曾在传统软件公司、金融机构、互联网金融公司等企业工作。...专场议程 这场会议不仅将为您呈现最新的云计算和中间件技术，还将提供宝贵的实践经验和成功案例。无论您是中间件爱好者、开发者还是企业决策者，都不容错过这个令人期待的活动。
”活动，目前已经连续举办了五届，“鑫智奖”聚焦行业数智化发展趋势及金融场景数智应用创新实践，激发数据智能领域磅礴的创新力量，助力打造数字金融深化发展的核心引擎。...本届活动共计收到72家企业提交的90个参评方案。...TDSQL作为腾讯自主研发的一款金融级分布式数据库产品，目前已经被4000多家来自金融、公共服务和电信等垂直行业客户采用，服务超过30家金融机构完成核心系统替换，中国十大银行中的七家都应用了TDSQL。...目前，TDSQL也已经完成了包括国产芯片、服务器、操作系统、中间件等全栈国产基础软件的适配，助力企业更加高效平滑地完成数字化转型。...﹀ ﹀ ﹀ -- 更多精彩 -- 腾讯云数据库亮相 DTC 2024，“国产化+智能化”双赛道驱动未来创新 ↓↓点击阅读原文，了解更多优惠
多年企业级系统开发和架构工作经验，对企业级存储、容器平台、微服务架构、无服务器计算等领域均有涉猎。...，了解中间件各产品，负载均衡，消息队列，分布式服务等。...议题介绍：由于消息中间件具有低耦合、可靠投递、广播、流量控制、最终一致性等一系列功能，因此已经成为分布式系统异步 RPC 通信的核心手段。...腾讯消息中间件针对公司金融业务打造了基于 raft 算法的高可靠强一致的分布式消息中间件 CMQ，并经过多次春节微信红包、微众银行等海量消息检验；对于大数据领域应用对社区 kafka 进行技术优化，使得性能更高...分享时间与地点 时间：11 月 18 日（星期六）13:30-18:00 地点：车库咖啡（北京海淀区中关村创业大街 48 号） 免费报名通道 本次活动是腾讯云首次面向开发者的云端软件架构技术全景分享，六位讲师
KV.jpg 为了更好地服务使用微服务架构进行软件设计的企业，腾讯云中间件产品基于腾讯在微服务、消息队列领域多年的技术积累，提供了功能强大、兼容并包、生态开放的云原生分布式微服务解决方案和消息队列服务...全方位打造出6款优秀产品：微服务平台 TSF、消息队列CKafka、金融级消息队列TDMQ、微服务观测平台 TSW、微服务引擎TSE、分布式事务DTF，全面布局云原生领域产品矩阵。...另外，腾讯云还始终积极对外贡献技术力量，参与了《中间件技术和产业白皮书》的编写，以及《工业互联网平台微服务》国家标准和《消息中间件技术标准》的讨论与制定。...经过多年匠心打磨，腾讯中间件产品已在金融、政府、能源、制造业等行业得到了大规模的应用，但是用户在使用的过程中，到底是什么感受呢？...为了打造用户更为喜爱的技术产品，TVP首创了技术圈吐槽形式的活动——TVP吐槽大会。
为了更好地服务使用微服务架构进行软件设计的企业，腾讯云中间件产品基于腾讯在微服务、消息队列领域多年的技术积累，提供了功能强大、兼容并包、生态开放的云原生分布式微服务解决方案和消息队列服务。...全方位打造出7款优秀产品：微服务平台 TSF、消息队列CKafka、金融级消息队列TDMQ、微服务观测平台 TSW、弹性微服务 TEM、微服务引擎TSE、分布式事务DTF，全面布局云原生领域产品矩阵。...另外，腾讯云还始终积极对外贡献技术力量，参与了《中间件技术和产业白皮书》的编写，以及《工业互联网平台微服务》国家标准和《消息中间件技术标准》的讨论与制定。...经过多年匠心打磨，腾讯中间件产品已在金融、政府、能源、制造业等行业得到了大规模的应用，但是用户在使用的过程中，到底是什么感受呢？...为了打造用户更为喜爱的技术产品，TVP首创了技术圈吐槽形式的活动——TVP吐槽大会。
万级 十万级 万级 时效性 ms级以内 us（微秒）级 ms级 ms级 可用性 非常高（分布式架构） 高（主从架构） 非常高（分布式架构） 高（主从架构） 功能特性 只支持主要的 MQ功能，像一些消息查询...号称大数据的杀手锏，谈到大数据领域内的消息传输，则绕不开Kafka，这款为大数据而生的消息中间件，以其百万级TPS（单机写入TPS约在百万条/秒**）**的吞吐量名声大噪，迅速成为大数据领域的宠儿，在数据采集...RocketMQ RocketMQ是阿里开源的消息中间件，它是纯 Java开发，具有高吞吐量、高可用性、适合大规模分布式系统应用的特点。...消息可靠性非常高，经过参数优化配置，消息可以做到0丢失。MQ功能较为完善，还是分布式的，扩展性好。支持10亿级别的消息堆积，不会因为堆积导致性能下降。...RoketMQ在稳定性上可能更值得信赖，这些业务场景在阿里双11已经经历了多次考验，如果你的业务有上述并发场景，建议可以选择RocketMQ。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
