首页
学习
活动
专区
圈层
工具
发布

蚂蚁金服11.11:支付宝和蚂蚁花呗的技术架构及实践

而对技术人员来说,双十一无疑已经成为一场大考,考量的角度是整体架构、基础中间件、运维工具、人员等。...分布式数据架构 支付宝在2015年双十一当天的高峰期间处理支付峰值8.59万笔/秒,已经是国际第一大系统支付。...以下是分布式事务框架的流程图: ? 实现: 一个完整的业务活动由一个主业务服务与若干从业务服务组成。 主业务服务负责发起并完成整个业务活动。 从业务服务提供TCC型业务操作。...从上线初期的10笔/秒的支付量发展到双十一当天峰值2.1w笔/秒。支撑蚂蚁花呗业务发展的技术体系经过不断演进、已经完全依托于蚂蚁金服的金融云架构。...在之前的架构中,系统的秒级处理能力无法有效衡量,通过简单的引流压测无法得到更加准确、可信的数据。立足于金融云,系统很快通过全链路压测得到了每秒处理4w笔支付的稳定能力。

5.8K60

通过双十一等项目实践看架构技术

每年“双 11”都是一场电商盛会,消费者狂欢日。今年双 11 的意义尤为重大,它已经发展成为全世界电商和消费者都参与进来的盛宴。...而对技术人员来说,双十一无疑已经成为一场大考,考量的角度是整体架构、基础中间件、运维工具、人员等。...分布式数据架构 支付宝在 2015 年双十一当天的高峰期间处理支付峰值 8.59 万笔 / 秒,已经是国际第一大系统支付。...以下是分布式事务框架的流程图: ? 实现: 一个完整的业务活动由一个主业务服务与若干从业务服务组成。 主业务服务负责发起并完成整个业务活动。 从业务服务提供 TCC 型业务操作。...在之前的架构中,系统的秒级处理能力无法有效衡量,通过简单的引流压测无法得到更加准确、可信的数据。立足于金融云,系统很快通过全链路压测得到了每秒处理 4w 笔支付的稳定能力。

2.8K30
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    揭秘:2018阿里双11秒杀背后的技术

    二、阿里双11背后的技术 ? 1. 云计算 利用云计算弹性能力,支撑交易峰值每秒32.5万笔、支付峰值每秒25.6万笔的混合云弹性架构。 2. 分布式消息引擎 在双11当天实现万亿级消息流转。 3....总之,双11将涉及:基础设施、存储、中间件、云计算、业务架构、大数据、认知计算与人工智能、交互技术等技术领域。...充分利用消息中间件削峰 这里有相关的阿里消息中间件(Notify和MetaQ),以及开源的(ActiveMQ、Kafka等)。...比如我们有100W用户同时抢100台手机,服务层并发请求压力至少为100W。...现在对数据库的拆分,都是利用数据库层中间件(淘宝 tddl),来进行无缝对数据库的侵入设计。 除此以外还会涉及到分布式小文件存储以及搜索引擎,以及服务器集群监控等技术。

    5.7K30

    探索 RocketMQ:企业级消息中间件的选择与应用

    探索 RocketMQ:企业级消息中间件的选择与应用一、关于RocketMQRocketMQ 是一个高性能、高可靠、可扩展的分布式消息中间件,它是由阿里巴巴开发并贡献给 Apache 软件基金会的一个开源项目...由于传统的消息队列无法承受亿级用户的访问流量和海量数据传输,诞生了互联网消息中间件,核心能力是全面采用分布式架构、具备很强的横向扩展能力,开源典型代表有 Kafka、RocketMQ,闭源的还有淘宝 Notify...2012年:阿里巴巴开源其自研的第三代分布式消息中间件——RocketMQ。经过几年的技术打磨,阿里称基于RocketMQ技术,目前双十一当天消息容量可达到万亿级。...五、应用场景以下是一些典型的 RocketMQ 应用场景:金融行业交易消息系统:金融交易系统对消息的可靠性、事务性和高吞吐量有严格要求。...RocketMQ 能够保证系统的高效性,特别是在“双十一”等促销活动期间,能够平稳处理海量订单消息。异步消息处理:电商系统中,很多操作是异步的,例如支付回调、库存扣减、物流派送等。

    1.3K10

    实战分享:activemq 在灾备双活建设中的研究

    作者简介:刘韬,在中间件领域有多年的实战经验,精通 WebLogic server,Websphere,Jboss,Tomcat,tuxedo,mq,osb等多种中间件技术,对中间件的故障处理、性能优化...由于 activemq 承担着消息服务的重要角色,在这篇文章中我们重点讲述在灾备双活建设中 activemq 设计、规划、部署。...目标 灾备双活建设最完美的架构设计:在同城、异地 2 个数据中心,在最极端情况下,例如单数据中心垮掉情况下,保证消息零丢失,支持 7*24 服务要求。...3) 服务影响 正常情况下,对于客户端的连接平均分布在两个机房中,出现单个机房故障后,连接在故障机房中的连接会断开,正在执行未提交的事务将会回滚,对于发起的新连接不受任何影响,依然可以通过配置的负载策略访问正常机房中的消息中间件服务...● 保证在各种灾难场景都实现了 7*24 和消息零丢失吗? 是的,只要保证一个 cluster 下的 2 个节点可用的情况下,不管在任何一种组合下,jms 服务都是可用的。

    2.5K10

    无例可循,双十一倒逼出中国互联网「三高架构」

    随着「双十一」进入第 14 个年头,这一现象级的标志性活动在很大程度上已经融入国人的日常生活,因而显得不再那么特殊——打折促销天天有,满减秒杀是基操,消费者已经习惯了随时随地都能下单,同城快递隔天就到。...高质高效地保障双十一大促工作的进行,涉及基础设施、存储、中间件、业务架构、交互技术与安全等多个技术领域,需要多部门紧密配合,能够集中体现一个团队的资源统筹、技术积累、工程实力和创新能力。...,逐渐形成了一套包括金融级分布式交易、分布式大数据分析与决策、智能化风险防控等在内的完整架构与技术体系。...第三阶段:异地多活架构,流量弹性伸缩 金融级产品对稳定性有极高的要求,需要加速实现金融级异地多活的高可用架构。...正是因为一次次双十一的倒逼创新,支付宝的实践证明在金融级中间件、数据库和云计算平台的支持下,分布式架构完全能够胜任复杂、高要求的金融级交易。

    4.1K20

    深度解析Apache RocketMQ:从核心原理到实战应用

    Apache RocketMQ作为一款源自阿里、捐献给Apache基金会的开源消息中间件,凭借其金融级可靠性、丰富的功能特性及优秀的性能表现,已成为互联网、金融、电商等领域的主流选择。...其设计目标是打造一款“金融级可靠、高吞吐、低延迟、功能丰富”的消息中间件,既满足普通业务的异步通信需求,也能支撑金融交易、电商订单等对一致性要求极高的核心场景。...Master-Slave模式(同步双写):每个Master配置一个Slave,数据同步双写,需主备均写入成功才返回发送成功,适用于金融级核心场景。...RabbitMQ 核心定位 金融级消息中间件,平衡可靠与性能 分布式流处理平台,高吞吐优先 企业级消息代理,灵活路由优先 吞吐量 高(接近Kafka,十万级TPS) 极高(百万级TPS,大数据首选)...九、总结 Apache RocketMQ凭借其金融级可靠性、丰富的高级特性、简洁的架构设计及云原生演进能力,已成为分布式系统中核心的消息中间件选择。

    1.1K10

    【Spring Boot实战与进阶】集成RockerMQ消息队列

    汇总目录链接:【Spring Boot实战与进阶】学习目录 文章目录 一、简介 二、集成RockerMQ消息队列 1、引入依赖 2、配置文件 3、测试生产消息 4、测试消费消息 一、简介    RocketMQ...是阿里巴巴在2012年开源的分布式消息中间件,目前已经捐赠给 Apache 软件基金会,并于2017年9月25日成为 Apache 的顶级项目。...作为经历过多次阿里巴巴双十一的洗礼并有稳定出色表现的国产中间件,以其高性能、低延时和高可靠等特性近年来已经也被越来越多的企业使用。 为什么选择RocketMQ?   ...在阿里孕育 RocketMQ 的雏形时期,我们将其用于异步通信、搜索、社交网络活动流、数据管道,贸易流程中。随着我们的贸易业务吞吐量的上升,源自我们的消息传递集群的压力也变得紧迫。   ...历经十余年的大规模场景打磨,RocketMQ 已经成为业内共识的金融级可靠业务消息首选方案,被广泛应用于互联网、大数据、移动互联网、物联网等领域的业务场景。

    91530

    腾讯专有云TCE 高可用技术白皮书

    ) #缓存数据库CRedis(二级类目:CloudDB for Redis) #流式消息引擎TDMQ-Kafka(二级类目:TDMQ for CKafka) #消息队列TDMQ-Pulsar...#分布式存储平台(二级类目:三副本冗余存储) #快照备份系统(二级类目:跨区域数据备份) 第二章:报告背景和目标 报告聚焦政企、金融等关键行业客户对业务连续性的核心诉求,以RTO(业务恢复时间...(双AZ、双AZ+仲裁、三AZ、双Region)的量化高可用方案,实现单AZ故障RTO≈0/RPO=0、地域级故障RPO分钟级,支撑金融、传媒等行业客户数智化转型。...•核心分析模型:“八横四纵”高可用体系(四纵:硬件组件级、节点级、机柜级、AZ级故障容忍;八横:基础设施、网络连接、计算调度、存储、中间件与数据库、微服务框架、应用、管控底座高可用能力)。...•国际性与技术领先:TCE高可用架构获金融客户验证,跻身全球分布式云平台领导者象限;自研产品如TDSQL分布式数据库(强一致跨AZ同步)、TDMQ-Pulsar金融级消息中间件(跨AZ强一致)、CRedis

    85810

    国内云原生消息队列选型指南:腾讯云CKafka凭何成为企业首选?

    【正文】 据IDC最新报告显示,2025年中国云原生消息队列市场规模突破80亿元,其中金融、电商、IoT领域对高吞吐、低延迟的消息服务需求增长45%。...本文将通过四大维度展开分析,并揭秘腾讯云近期推出的免费试用活动。...分布式架构但吞吐受限 高可用架构 跨可用区部署+自动故障切换 多副本+分区容灾 双AZ部署但缺乏跨区域容灾 安全体系...生态整合 天然对接COS/TDSQL/EMR 需二次开发对接云产品 生态建设处于早期阶段 二、腾讯云CKafka的技术突破 极致性能设计 支持每秒千万级消息吞吐...productSlug=ckafka#free 配置说明:20MB/s峰值带宽+400个分区+200个Topic,适用于日志压缩收集、监控数据聚合、流式数据集成等场景需求 【结语】 在经历2025年双十一流量洪峰考验后

    54110

    中间件MQ是什么?

    中间件 MQ(消息队列,Message Queue) 是一种分布式通信中间件,核心功能是异步传递消息,解决分布式系统中 “服务间解耦、流量削峰、可靠通信” 的问题。...流量削峰(应对突发流量)场景:双 11 零点,10 万 /s 的抢购请求直接打数据库,瞬间压垮。...对比:无 MQ 时,数据库连接池被打爆,整个系统雪崩;有 MQ 时,流量波峰被 “削平”,系统平稳扛过峰值。3....,适合大数据场景RabbitMQ金融级可靠消息、精准路由支持事务、死信队列、ACK 机制吞吐量相对低(万级 /s)RocketMQ阿里系电商、分布式事务分布式事务、消息重试策略社区生态不如 Kafka...✅ 当系统需要异步处理(如注册后发邮件)✅ 当服务间耦合度高(如订单、库存、支付多个系统)✅ 当面临流量波动(如秒杀、大促活动)❌ 不要用 MQ:简单的同步调用(如用户登录验证),反而增加系统复杂

    1.9K10

    【金猿信创展】恒生电子——全栈式信创解决方案,助力金融信创行稳致远

    核心技术及产品突破 1、分布式微服务中间件Light-JRES Light-JRES是面向金融领域的企业级应用快速开发平台和多系统融合平台,既减轻对基础设施的依赖,又从业务上具备可复用、可扩展、高安全的特性...JRES中间件是实现对通用技术组件的服务化,譬如:分布式缓存、消息队列、分布式事务等等,通过应用共享以及多租户隔离实现技术组件最大程度复用,降低系统的资源消耗让技术组件和业务公共模块下沉,从而做到支持业务的快速创新和迭代...2、分布式低延时中间件Light-LDP Light-LDP是具有集低延时、分布式解耦、灵活开放等特点的开发平台,支持金融机构微秒级业务应用,主要面向券商自营、券商资管以及券商机构业务的策略交易、算法交易...3、金融级分布式数据库LightDB LightDB是一款支持在线事务处理与在线分析处理的融合型分布式数据库,具备SQL兼容性高、容量弹性伸缩、金融级高可用、现代硬件融合、纯内存计算等核心特性,适用于对可用性...LightDB具有“更快、更稳、更懂金融”的企业级特性:采用单机分布式一体化架构,同时支持集中式和分布式部署,在长时间高负载压测下抖动很低;性能方面,在同机房高可用信创软硬件下、单节点进行证券典型订单TPS

    2K30

    工商银行MySQL数据库架构解密

    第三阶段 转型实施及推广 2018年开始大规模的实施和推广,在这个过程中基于开源的MySQL数据库,我们逐步建立起了一个企业级的数据库服务能力,包括引入了分布式的中间件,在高可用、运维能力的提升,...分布式消息平台,实现这样一个应用级的数据交互; 同时我们也进行了运维的规划和总设计。...2.3.2 分布式中间件应用 2018年开始转型和实施,并且大量应用上线;之前的基于应用级的分布式解决方案,遇到了一些新的限制;部分应用不想设计的过分复杂,这个时候引入了开源分布式中间件DBLE,引入它的目的就是为了简化开发的工作量...我们刚才提到消息平台,它实现了应用和应用之间的数据交换,这个是业务级的。...那么我们现在除了这样的一个业务级的,我们还需要一个系统级的来实现不同数据库和数据库系统级的准实时的数据的交换和复制,只有把数据流转,把它活动起来了,那么数据才能更好的发挥它的业务价值,我们行目前也在建设这一块的数据复制平台

    2.3K40

    余军:分布式数据库在金融行业的创新实践

    基于 2014 年 Stanford 工业级分布式一致性协议实现 Raft 博士论文,已成为事实工业标准。...他们有大型国有商业银行,股份制商业银行,大型券商和保险,第三方电子支付企业,互联网金融企业 (个贷/理财/ 投顾),科技金融( Fintech )企业以及金融征信企业等。...OLTP - 直销金融:营销活动平台 TiDB 的解决之道: 面向业务应用侧,完全采用了兼容 MySQL 的协议,应用迁移低成本,低风险,且迁移周期极短,满足 了用户的周活动间隔的变更窗口要求。...OLAP - 交易监控:实时交易监察与监控平台 TiDB 的解决之道: 利用消息中间件,将交易系统的交易记录和撮合日志,流式写入 TiDB,利用 TiDB 的分布式存储,高性能 数据写入和弹性存储。...OLAP - 风控:实时风控 TiDB 的解决之道: 风控数据通过信息中间件双写Hive/Hadoop(历史库/历史分析) TiDB的分布式存储引擎架构,非常轻松地应对海量风控数据的导入,存储和查询处理

    2.6K102

    一文归纳总结分布式架构的那些事!

    进入十一月,最火热的话题与期待的日子自然是双十一狂欢购物节了,作为程序员的你除了要清空自己的购物车之外,最关心的是不是双十一架构技术是如何承受亿级用户流量的冲击,又是如何在分布式架构中实现单点登陆,形成支持高并发...(9)Dubbo容错容错机制及高扩展性分析 三、分布式架构中间件 1、分布式消息通信 (1)消息中间件在分布式架构中的应用 (2)ActiveMQ高可用集群企业级部署方案 (3)ActiveMQ P2P...及PUB/SUB模型详解 (4)ActiveMQ基于Spring完成分布式消息列队实战 (5)Kafka基于Zookeeper搭建高可用集群实战 (6)Kafka消息处理过程剖析 (7)Java客户端实现...(6)MongDB聚合、索引及基本执行命令 (7)MongDB数据分片、转存及恢复策略 (8)MySQL主从复制及读写分离实战 (9)MySQL+keepalived实现双主高可用方案实践 (10)MySQL...1、分布式全局ID生成方案 2、session跨域共享及企业级单点登陆解决方案 3、分布式事物解决方案实战 4、高并发下的服务降级、限流实战 5、基于分布式架构下分布式锁的解决方案实战 6、分布式架构下实现分布式定时调度

    2.1K50

    CKafka系列学习文章 - 对比RabbitMQ、RocketMQ、TDMQ-CMQ、kafka和Ckafka(二)

    导语:上一章我们聊到了:什么是消息队列,为什么要用消息队列,有那些消息队列?下来我们聊聊什么样的消息队列适合我们公司。 在技术领域,从来都没有最好的工具,只有最合适自己公司的工具。...,故障情况极少发生 可靠性低;Broker 只有异步刷盘机制并主备只有异步复制,可能会导致丢失部分消息 可靠性高;发送消息时,指定消息为持久化就会写入到磁盘 可靠性高;Broker 同步双写,主备都写成功才返回成功...Ckafka和CMQ都作为消息中间件都支持集群部署、高吞吐量、强一致等特性,那这两款产品最主要的区别是什么,分别更适合哪些场景使用?...在这些地方,Ckafka非常好用 实时处理网站活动(PV,搜索,用户其他活动等) 完美的“日志收集中心” 大数据入口和连接器 image.png 2、TDMQ-CMQ 消息队列 CMQ 版(TDMQ...for CMQ,简称 TDMQ CMQ 版)是一种分布式消息队列服务,它具有可靠的、基于消息的异步通信机制,能够将分布式部署的不同应用(或同一应用的不同组件)中的信息传递,存储在可靠有效的消息队列中,防止消息丢失

    6.2K74

    余额宝技术架构及演进

    中间层就是采用小型机,其中 KCXP 和 KCBP 是金证公司的消息中间件和业务中间件。往上前端是前置解析是用的 WebLogic,负载均衡用的硬件负载均衡。 ?...由于余额宝对接是支付宝,支付宝有庞大的用户群,在用户规模上要达到千万级,这是当时对需求的定位。...另外当年要参加支付宝这边的双 11 活动,以当时的系统处理能力来讲,肯定是做不到的。 二期云端架构 基于这些原因,需要对一期的系统做优化,怎么优化?...比如对于在线交易,可以采用经过阿里支付宝验证过的 OB,专门用于解决金融级的分布式关系数据库的解决方案; 对于批量结算,可以继续沿用多年来在余额宝已经用的很娴熟的 RDS 集群。...异步调用 异步调用主要靠消息中间件。金融系统对消息中间件的可靠性要求非常高,这块我们还是沿用传统思路,并不想采用开源解决方案去填那些坑,更多考虑采用成熟金融级消息中间件来做这件事情。 ?

    1.9K50

    日均7亿交易量,如何设计高可用的MySQL架构?

    第三阶段:转型实施及推广 2018 年开始大规模的实施和推广,在这个过程中基于开源的 MySQL 数据库,我们逐步建立起了一个企业级的数据库服务能力,包括引入了分布式的中间件,在高可用、运维能力的提升,...分布式事务的框架,我们结合两阶段提交和分布式的消息,支持强一致性和最终一致性多种模式的支持,通过分布式事务框架解决分布式事务的问题。...分布式消息平台,实现这样一个应用级的数据交互。 同时我们也进行了运维的规划和总设计。这里引入了开源的 MySQL 数据库来解决数据最终落地的问题。 ③MySQL 高可用方案 ?...②分布式中间件应用 2018 年开始转型和实施,并且大量应用上线;之前的基于应用级的分布式解决方案,遇到了一些新的限制。 ?...数据统一交换 我们刚才提到消息平台,它实现了应用和应用之间的数据交换,这个是业务级的。

    1.2K20

    日均7亿交易量,如何设计高可用的MySQL架构?

    第三阶段:转型实施及推广 2018 年开始大规模的实施和推广,在这个过程中基于开源的 MySQL 数据库,我们逐步建立起了一个企业级的数据库服务能力,包括引入了分布式的中间件,在高可用、运维能力的提升,...分布式事务的框架,我们结合两阶段提交和分布式的消息,支持强一致性和最终一致性多种模式的支持,通过分布式事务框架解决分布式事务的问题。...分布式消息平台,实现这样一个应用级的数据交互。 同时我们也进行了运维的规划和总设计。这里引入了开源的 MySQL 数据库来解决数据最终落地的问题。 ③MySQL 高可用方案 ?...②分布式中间件应用 2018 年开始转型和实施,并且大量应用上线;之前的基于应用级的分布式解决方案,遇到了一些新的限制。 ?...数据统一交换 我们刚才提到消息平台,它实现了应用和应用之间的数据交换,这个是业务级的。

    83410

    面试官:你们的MySQL是如何支撑日均7亿交易量的?

    第三阶段:转型实施及推广 2018 年开始大规模的实施和推广,在这个过程中基于开源的 MySQL 数据库,我们逐步建立起了一个企业级的数据库服务能力,包括引入了分布式的中间件,在高可用、运维能力的提升,...分布式事务的框架,我们结合两阶段提交和分布式的消息,支持强一致性和最终一致性多种模式的支持,通过分布式事务框架解决分布式事务的问题。...分布式消息平台,实现这样一个应用级的数据交互。 同时我们也进行了运维的规划和总设计。这里引入了开源的 MySQL 数据库来解决数据最终落地的问题。 ③MySQL 高可用方案 ?...②分布式中间件应用 2018 年开始转型和实施,并且大量应用上线;之前的基于应用级的分布式解决方案,遇到了一些新的限制。 ?...数据统一交换 我们刚才提到消息平台,它实现了应用和应用之间的数据交换,这个是业务级的。

    1.2K50
    领券