首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

十万亿条消息背后的故事

它统一了阿里集团内部所有业务线的消息中间件,伴随着中国互联网发展数次迭代。...2007 年,淘宝技术架构进行了调整,将交易系统从单体应用变成分布式,也是在这个过程中产生了阿里巴巴第一代消息中间件 Notify。...在“ 11”流量压力下,每年都有出现问题的风险,消息会延迟半天甚至一天以上,这就造成商家卖出去的商品,看不到买家已经掉了。...2015 年,RocketMQ 开始统一阿里巴巴消息中间件。...更重要的是,“全世界都能看到这个产品到底好在哪里,不好在哪里”。 开源是一种生产力的体现,由数百人、数千人、数万人一起协作开发,同时又吸收全世界所有公司、所有行业、所有业务场景的需求。

6.2K10

【金猿信创展】恒生电子——全栈式信创解决方案,助力金融信创行稳致远

核心技术及产品突破 1、分布式微服务中间件Light-JRES Light-JRES是面向金融领域的企业应用快速开发平台和多系统融合平台,既减轻对基础设施的依赖,又从业务上具备可复用、可扩展、高安全的特性...JRES中间件是实现对通用技术组件的服务化,譬如:分布式缓存、消息队列、分布式事务等等,通过应用共享以及多租户隔离实现技术组件最大程度复用,降低系统的资源消耗让技术组件和业务公共模块下沉,从而做到支持业务的快速创新和迭代...2、分布式低延时中间件Light-LDP Light-LDP是具有集低延时、分布式解耦、灵活开放等特点的开发平台,支持金融机构微秒业务应用,主要面向券商自营、券商资管以及券商机构业务的策略交易、算法交易...3、金融分布式数据库LightDB LightDB是一款支持在线事务处理与在线分析处理的融合型分布式数据库,具备SQL兼容性高、容量弹性伸缩、金融高可用、现代硬件融合、纯内存计算等核心特性,适用于对可用性...LightDB具有“更快、更稳、更懂金融”的企业特性:采用单机分布式一体化架构,同时支持集中式和分布式部署,在长时间高负载压测下抖动很低;性能方面,在同机房高可用信创软硬件下、单节点进行证券典型订单TPS

1K30
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    数字化平台全面护航金融信创落地 | 信创讲坛第一期

    普元应用服务器PAS、消息中间件MQ、大文件传输平台BFT、企业服务总线ESB、业务流程平台BPS、数据集成平台DI、应用开发平台EOS、微服务开发平台EOS MS、研发运维一体化平台DevOps、低代码开发平台...例如普元企业服务总线支撑单日亿海量服务调用,TPS(每秒交易数)能够达到8000+的峰值,满足金融客户对高性能和高并发的要求。...这两种模式,既保证了对金融信创迁移要求的满足,同时又实现了对应用业务发展需要的支撑,达成“一箭雕”的效果。...普元帮助某农信社实现的分布式架构的移动办公系统的信创落地,良好说明了针对金融领域特色需求推出的信创迁移模式的“一箭雕”成果。...整套方案底层操作系统使用了银河麒麟和统信UOS的操作系统,数据库采用的是华为高斯,中间件运用到了普元的应用服务器、微服务开发平台、流程平台、企业服务总线,功能、性能、安全性指标均符合全行应用需求及监管机构要求

    98010

    喜报!腾讯云 TSF 和 TDMQ 产品获评“2021-2022年度中国优秀创新软件”!

    基于深厚的自主技术研发实力和创新的产品功能,腾讯云微服务平台TSF 和消息队列 TDMQ 产品获得与会专家的一致认可,入选“2021-2022年度中国优秀创新软件产品”,体现了腾讯云中间件产品在基础软件和平台支撑软件细分领域的自主创新能力...提供同城活、两地三中心高可用容灾能力,配套运营管控平台实现完善的运营监控能力。 TSF 已具有上万企业用户,广泛应用于金融、政府、工业、能源、泛互联网等业务领域。...TDMQ 产品介绍 腾讯分布消息队列软件(Tencent Distributed Message Queue,简称TDMQ)是一个云原生消息队列中间件系列,为分布式应用系统提供异步解耦和削峰填谷的能力...高可用容灾能力等企业诉求。...腾讯分布消息队列TDMQ 公有云企业用户数 2000+,在腾讯内部每日支撑了30亿+消息,私有云交付实施项目包括90+大中型企业,广泛应用于金融、政府、医疗、泛互等行业和领域。

    1.1K30

    余额宝技术架构及演进

    中间层就是采用小型机,其中 KCXP 和 KCBP 是金证公司的消息中间件和业务中间件。往上前端是前置解析是用的 WebLogic,负载均衡用的硬件负载均衡。 ?...目前来讲应对春节、11、国庆长假等场景,系统都能稳定应对这些。 ?...数据流转,我们现在数据库层面也是分布式,所以数据的抽取、同步和流转会遇到很多现实的问题。 运维。...比如对于在线交易,可以采用经过阿里支付宝验证过的 OB,专门用于解决金融分布式关系数据库的解决方案; 对于批量结算,可以继续沿用多年来在余额宝已经用的很娴熟的 RDS 集群。...异步调用 异步调用主要靠消息中间件金融系统对消息中间件的可靠性要求非常高,这块我们还是沿用传统思路,并不想采用开源解决方案去填那些坑,更多考虑采用成熟金融消息中间件来做这件事情。 ?

    1.3K50

    红塔银行,核心上云

    向大家报告金融云的行业新突破: 云南红塔银行全新一代核心系统日前正式在云上投产上线。...该系统采用分布式、微服务技术架构打造,部署在由云南红塔银行联合腾讯云打造的私有云平台上,并实现了全集业务活态运行。 新系统的上线,让红塔银行具备了服务亿客户、每天亿交易量的“亿”能力。...首次实现活业务架构 双方合作建设的私有云平台为红塔银行首次实现活业务架构提供了底层支撑。...红塔银行还借助构建新一代核心业务的契机,联合腾讯云建设全行统一消息服务总线,通过消息发布的形式对交易链路上的任务进行优化,助力核心系统实现平均每分钟处理约50万笔联机交易、交易平均响应时间不高于300毫秒的性能...另外,头部前十的券商全部选择腾讯云服务,其中私有云平台合作行业领先;十二大保险集团中7家选择与腾讯云深度合作;超90%的持牌消金公司都选择了腾讯云的服务;腾讯云还与许多标杆客户进行了产业金融方面的探索。

    2.8K10

    【TEGer 在全球架构师峰会】 : 腾讯企业消息中间件 CMQ 技术解密

    目前专注于于分布式服务开发与治理平台TSF的建设。 大规模分布式系统的快速发展使得消息中间件已经成为系统间通信的核心手段。...本文将对腾讯TEG基础架构部中间件团队研发的企业消息中间件CMQ原理进行分享介绍。...中间件团队消息队列发展历程: [3631gssrfr.png] CMQ/CKafka/MQ for IoT本质上都属于分布消息中间件分布消息系统的最大特点是可扩展性。...此时CMQ通过Set来保障可用性,大致原理如下: image.png 业务在申请使用消息队列时CMQ会在两个Set上分别建立队列元数据,正常情况下只有一个Set 对外服务,另外一个Set standby...总结 本文主要腾讯基础架构部消息中间件发展历程进行简要介绍,重点对金融消息中间件CMQ核心原理进行分享,除此之外,中间件团队针对大数据领域常用的kafka进行优化改进推出了CKafka,在相同条件下小于

    2.1K91

    十分钟入门RocketMQ

    本文首先引出消息中间件通常需要解决哪些问题,在解决这些问题当中会遇到什么困难,Apache RocketMQ作为阿里开源的一款高性能、高吞吐量的分布消息中间件否可以解决,规范中如何定义这些问题。...消息中间件需要解决哪些问题? Publish/Subscribe 发布订阅是消息中间件的最基本功能,也是相对于传统RPC通信而言。在此不再详述。...通过同步写技术可以完全避免单点,同步写势必会影响性能,适合对消息可靠性要求极高的场合,例如与Money相关的应用。 RocketMQ从3.0版本开始支持同步写。...其中XA的TM实现佼佼者如Oracle Tuxedo,在金融、电信等领域被广泛应用。...上图是一个典型的消息中间件收发消息的模型,RocketMQ也是这样的设计,简单说来,RocketMQ具有以下特点: 是一个队列模型的消息中间件,具有高性能、高可靠、高实时、分布式特点。

    1.9K70

    独家丨数字生态大会专有云干货分享

    2021年度腾讯数字生态大会已落下帷幕,专有云产品中心研发总监、专家工程师秦国安,在分布式云会场给大家分享了《腾讯专有云 客户专属的分布式云》,让我们回顾一下分享干货吧!...将公有云的能力延伸到私有云,提供了面向企业市场的IaaS\PaaS\SaaS服务。...主要把腾讯的计算存储网络和核心的中间件、数据库以独立产品形式交付到客户现场。...4、多行业 除了金融和政务以外,又发现了各行各业对专有云的需求。 如交通行业有边缘计算的需求,中心在一个栈里,边缘节点分布在各个地铁站中,平时靠中心做计算,边缘节点上报数据,中心下达一些指令等。...目前我们在政务、金融、企业、交通、泛互联网行业,都做了非常多的标杆成功案例,帮助这些客户实现了数字化转型,并且支持他们的商业成功。 04 新的挑战思考 未来往哪里走?

    5.5K20

    消息中间件选型分析 —— 从 Kafka 与 RabbitMQ 的对比来看全局

    (简称消息中间件)是指利用高效可靠的消息传递机制进行与平台无关的数据交流,并基于数据通信来进行分布式系统的集成。...RabbitMQ是采用Erlang语言实现的AMQP协议的消息中间件,最初起源于金融系统,用于在分布式系统中存储转发消息。...RocketMQ是阿里开源的消息中间件,目前已经捐献个Apache基金会,它是由Java语言开发的,具备高吞吐量、高可用性、适合大规模分布式系统应用等特点,经历过11的洗礼,实力不容小觑。...对于消息中间件而言,消息的链路追踪(以下简称消息追踪)同样重要。对于消息追踪最通俗的理解就是要知道消息从哪来,存在哪里以及发往哪里去。...可靠性+可用性 消息丢失是使用消息中间件时所不得不面对的一个同点,其背后消息可靠性也是衡量消息中间件好坏的一个关键因素。尤其是在金融支付领域,消息可靠性尤为重要。

    1K20

    CKafka系列学习文章 - 对比RabbitMQ、RocketMQ、TDMQ-CMQ、kafka和Ckafka(二)

    万QPS 读写12万QPS 同步算法 ISR(Replica) ISR(Replica) GM 同步写 Raft 可用性 可用性很高,主从自动切换,腾讯云消息服务承诺可用性99.95% 可用性高,主从自动切换...,故障情况极少发生 可靠性低;Broker 只有异步刷盘机制并主备只有异步复制,可能会导致丢失部分消息 可靠性高;发送消息时,指定消息为持久化就会写入到磁盘 可靠性高;Broker 同步写,主备都写成功才返回成功...Ckafka和CMQ都作为消息中间件都支持集群部署、高吞吐量、强一致等特性,那这两款产品最主要的区别是什么,分别更适合哪些场景使用?...1、CKafka CKafka(Cloud Kafka)是一个分布式的、高吞吐量、高可扩展性的消息系统,100% 兼容开源 Kafka API(0.9版本)。...for CMQ,简称 TDMQ CMQ 版)是一种分布消息队列服务,它具有可靠的、基于消息的异步通信机制,能够将分布式部署的不同应用(或同一应用的不同组件)中的信息传递,存储在可靠有效的消息队列中,防止消息丢失

    4.7K74

    IM系统的MQ消息中间件选型:Kafka还是RabbitMQ?

    RabbitMQ 是采用 Erlang 语言实现的 AMQP 协议的消息中间件,最初起源于金融系统,用于在分布式系统中存储转发消息。...RocketMQ 是阿里开源的消息中间件,目前已经捐献个 Apache 基金会,它是由 Java 语言开发的,具备高吞吐量、高可用性、适合大规模分布式系统应用等特点,经历过 11 的洗礼,实力不容小觑...对于消息追踪最通俗的理解就是要知道消息从哪来,存在哪里以及发往哪里去。基于此功能下,我们可以对发送或者消费完的消息进行链路追踪服务,进而可以进行问题的快速定位与排查。...消息中间件可以作为用来实现分布式事务的一种手段,但其本身并不提供全局分布式事务的功能。...8、具体技术选型指标3:可靠性 + 可用性 消息丢失是使用消息中间件时所不得不面对的一个同点,其背后消息可靠性也是衡量消息中间件好坏的一个关键因素。尤其是在金融支付领域,消息可靠性尤为重要。

    1K20

    比特币赚了几十亿,他说:连你都知道比特币了,它可能就不会一直走下去了

    因为我在推特上知道了这个消息,我听说的时候他已经冲过1美元,2011年2月1日前后,价格居然超过1美元,所有媒体都在报道,我开始采取行动了,当我买到手的时候均价已经是6美元了,一周以后24美元,一周涨4...这是未来会产生千亿甚至万亿的区块链市场,在这里是有机会的,机会究竟在哪里我目前不知道。...如果你真的想买,在市场上直接划算。或者直接云算力,不用机器,如果你舍不得那点钱,你就不适合投资。金融市场里用钱是最划算的。...绝大多数人并不是专业者,你不懂芯片、网络维护,不懂这背后有一个最大的风险,原始社会里面没有供应链金融,你在现实生活里哪个制造业没有供应链金融?每个环节都有供应链金融做润滑剂。...有的人能上一台面、二台面,到了这里就不行了。我这些年并没有太大进步,而且区块链行业增长太快了,在未来的世界里你会看到大量的你认为很傻的人在这个行业成长起来。

    5.2K100

    【演讲实录】下一代企业应用架构管理体系

    本次分享重在讲解企业系统上云后,针对应用的管控。 作者简介: 王璞,数人云CEO,为美国George Mason大学计算机博士,擅长分布式计算、大规模机器学习、海量数据处理。...企业客户的IT状况是什么样的呢? 简单来讲,可以概括为:态并存。 ? 在业务层面,目前企业中既有传统业务,也有互联网的新型业务。...1、计算资源 在传统的业务需求下,银行等大型企业都是大型机小型机等高端的存储和服务器,而现在面临互联网化的需求,都逐渐走向x86,并构建虚拟化环境,还有一些客户,使用公有云。...1、轻量化 这里主要是针对传统的JAVA 中间件应用。应用容器化、架构微服务化,使得企业应用变得轻量化。...在服务网格下的处理方式是这样的: 1、由于客户端不知道服务端在哪里,因此用简单的方式将请求发送给本地的服务网格实例(的代理)。

    2K50

    Kafka or RabbitMQ:消息中间件选型深入分析

    RabbitMQ是采用Erlang语言实现的AMQP协议的消息中间件,最初起源于金融系统,用于在分布式系统中存储转发消息。...RocketMQ是阿里开源的消息中间件,目前已经捐献个Apache基金会,它是由Java语言开发的,具备高吞吐量、高可用性、适合大规模分布式系统应用等特点,经历过11的洗礼,实力不容小觑。...对于消息追踪最通俗的理解就是要知道消息从哪来,存在哪里以及发往哪里去。基于此功能下,我们可以对发送或者消费完的消息进行链路追踪服务,进而可以进行问题的快速定位与排查。...消息中间件可以作为用来实现分布式事务的一种手段,但其本身并不提供全局分布式事务的功能。...可靠性+可用性 消息丢失是使用消息中间件时所不得不面对的一个同点,其背后消息可靠性也是衡量消息中间件好坏的一个关键因素。尤其是在金融支付领域,消息可靠性尤为重要。

    90120

    消息中间件选型分析

    一、前言 消息队列中间件(简称消息中间件)是指利用高效可靠的消息传递机制进行与平台无关的数据交流,并基于数据通信来进行分布式系统的集成。...RabbitMQ是采用Erlang语言实现的AMQP协议的消息中间件,最初起源于金融系统,用于在分布式系统中存储转发消息。...RocketMQ是阿里开源的消息中间件,目前已经捐献个Apache基金会,它是由Java语言开发的,具备高吞吐量、高可用性、适合大规模分布式系统应用等特点,经历过11的洗礼,实力不容小觑。...对于消息追踪最通俗的理解就是要知道消息从哪来,存在哪里以及发往哪里去。基于此功能下,我们可以对发送或者消费完的消息进行链路追踪服务,进而可以进行问题的快速定位与排查。...可靠性+可用性 消息丢失是使用消息中间件时所不得不面对的一个同点,其背后消息可靠性也是衡量消息中间件好坏的一个关键因素。尤其是在金融支付领域,消息可靠性尤为重要。

    1.6K42

    消息中间件选型分析——从Kafka与RabbitMQ的对比来看全局

    一、前言 消息队列中间件(简称消息中间件)是指利用高效可靠的消息传递机制进行与平台无关的数据交流,并基于数据通信来进行分布式系统的集成。...RabbitMQ是采用Erlang语言实现的AMQP协议的消息中间件,最初起源于金融系统,用于在分布式系统中存储转发消息。...RocketMQ是阿里开源的消息中间件,目前已经捐献个Apache基金会,它是由Java语言开发的,具备高吞吐量、高可用性、适合大规模分布式系统应用等特点,经历过11的洗礼,实力不容小觑。...对于消息追踪最通俗的理解就是要知道消息从哪来,存在哪里以及发往哪里去。基于此功能下,我们可以对发送或者消费完的消息进行链路追踪服务,进而可以进行问题的快速定位与排查。...可靠性+可用性 消息丢失是使用消息中间件时所不得不面对的一个同点,其背后消息可靠性也是衡量消息中间件好坏的一个关键因素。尤其是在金融支付领域,消息可靠性尤为重要。

    1.9K70

    消息中间件选型分析

    一、前言 消息队列中间件(简称消息中间件)是指利用高效可靠的消息传递机制进行与平台无关的数据交流,并基于数据通信来进行分布式系统的集成。...RabbitMQ是采用Erlang语言实现的AMQP协议的消息中间件,最初起源于金融系统,用于在分布式系统中存储转发消息。...RocketMQ是阿里开源的消息中间件,目前已经捐献个Apache基金会,它是由Java语言开发的,具备高吞吐量、高可用性、适合大规模分布式系统应用等特点,经历过11的洗礼,实力不容小觑。...对于消息追踪最通俗的理解就是要知道消息从哪来,存在哪里以及发往哪里去。基于此功能下,我们可以对发送或者消费完的消息进行链路追踪服务,进而可以进行问题的快速定位与排查。...可靠性+可用性 消息丢失是使用消息中间件时所不得不面对的一个同点,其背后消息可靠性也是衡量消息中间件好坏的一个关键因素。尤其是在金融支付领域,消息可靠性尤为重要。

    99010

    可信与融合,面向业务与交易的银行数字化转型

    三、打造数据驱动的核心能力——数据中台,及数据中台基础上的企业的智慧能力。四、打破条线/部门墙,建立支持生态经营的组织型态,在新组织形态下合理设计分行关系和资源配置机制。...构建面向互联网的金融分布式架构,中间件平台TSF为金融业务提供可扩展、高可靠、灵活的分布式应用架构支撑,金融分布式数据库TDSQL能应对互联网海量数据并发压力,专有云平台TCE为金融业务应用提供云基础设施和管理能力...中间件平台全面覆盖分布式微服务、分布消息、云开发等热点技术,提供企业技术中台解决方案。...2019年9月,《金融科技(FinTech)发展规划(2019年-2021年)》明确提出要加强分布式数据库研发应用。做好分布式数据库金融应用的长期规划,加大研发与应用投入力度。...确保99.999%以上高可用、跨区容灾、同城活、故障自动恢复。运用数据库防火墙、透明加密、自动脱敏等减少用户误操作或黑客入侵带来的安全风险。完善配套设施,包括智能DBA、自动化运营管理平台。

    25820

    消息中间件选型

    十万 时效性 ms以内 us(微秒) ms ms 可用性 非常高(分布式架构) 高(主从架构) 非常高(分布式架构) 高(主从架构) 功能特性 只支持主要的 MQ功能,像一些消息查询...号称大数据的杀手锏,谈到大数据领域内的消息传输,则绕不开Kafka,这款为大数据而生的消息中间件,以其百万TPS(单机写入TPS约在百万条/秒**)**的吞吐量名声大噪,迅速成为大数据领域的宠儿,在数据采集...RocketMQ RocketMQ是阿里开源的消息中间件,它是纯 Java开发,具有高吞吐量、高可用性、适合大规模分布式系统应用的特点。...消息可靠性非常高,经过参数优化配置,消息可以做到0丢失。MQ功能较为完善,还是分布式的,扩展性好。支持10亿别的消息堆积,不会因为堆积导致性能下降。...天生为金融互联网领域而生,对于可靠性要求很高的场景,尤其是电商里面的订单扣款,以及业务削峰,在大量交易涌入时,后端可能无法及时处理的情况。

    1.8K20
    领券