华为:金融强一致性分布式数据库案例

来这里找志同道合的小伙伴!

金融科技创新网

“2018金融科技发展论坛暨第三届中国金融科技创新大会”定于10月12日—13日在北京万寿宾馆召开。论坛以“新科技·新金融·新动能——推动金融科技发展,助力实体经济腾飞”为主题,届时将邀请国内外知名专家学者、金融机构负责人、金融科技企业家等嘉宾到会发表主题演讲,并于现场发布《中国金融科技发展概览》。本次论坛开展的“2018中国金融科技创新榜”案例征集活动,收到了来自金融机构和金融科技服务商提交的136个案例。

中国金融科技创新大会已成功举办两届,大会立足国内,放眼全球,聚集行业热点,已成为金融科技业界理论研究、趋势探讨、案例推介、成果分享、应用指导和业务对接的交流平台,对于推动我国金融科技的理论研究和业务创新有着积极意义。

识别下方二维码,马上加入,与金融科技同业者共同探讨行业发展!

“2018金融科技发展论坛暨第三届中国金融科技创新大会”报名通道

扫描二维码参与投票

以下为华为参评案例展示:

一、案例背景

随着移动互联网的快速发展,金融服务的行为习惯也发生翻天覆地的变化;场景化、碎片化、个性化的金融服务需求越来越高;同时,手机、互联网渠道交易占据主流交易渠道,特别在节假日,如双11、抢购等活动常常导致业务突发高点,业务数据量和交易量的爆增;在传统大集中架构下,传统数据库能力无法满足金融业务移动化、互联网化后的大波动和高增长特性。

具体体现在:

1、 传统开源数据库能力,如MySQL存在扩展瓶颈,无法满足金融行业每年成倍的业务增长,传统的分库分表技术将数据分布到多个节点,也需要解决横向扩展和跨节点的分布式事务强一致问题;

2、 MySQL等开源数据库单机内核性能较弱,导致分布式数据库集规模过大、资源性价比低、运维成本高等问题;

3、 开放平台的可靠性与传统大型机、小型机相比存在较大差距,严重影响业务连续性,对核心账务等A类关键业务而言不可接受;

4、 金融行业不仅存在大资金量交易,也存在高并发的小额交易。当前的数据服务不能同时满足可用性和一致性,无法在两者之间提供动态平衡,有着较高的技术风险和极高的维护复杂度。

二、需要解决的问题

金融分布式架构的发展,数据层体现在逐步实现数据的分布化,支撑关键交易系统的数据分布。

针对金融行业的特点,需要有新的分布式数据库,将数据分布到多个节点,同时具备高弹性、高扩展能力,解决金融业务系统数据库的关键问题。

包括:

1、解决MySQL等开源数据库单机内核性能较弱,导致分布式数据库集规模过大、资源性价比低、运维成本高等问题;

2、解决金融云和开放平台上的单机可靠性问题—业务连续性;

3、满足金融行业自身业务特点的诉求:

高弹性诉求,具备横向扩展能力,应对互联网类负载的大幅波动;

高扩展诉求,解决单点性能天花板、Scal-up扩容成本高的问题;

强一致诉求,满足金融行业对数据一致性强监管的独特要求。

三、解决方案描述

华为针对新兴分布式数据库内核能力不适应企业业务的特点,聚焦企业级内核高性能、功能完整、企业级维护能力;同时在分布式和云化能力上满足金融互联网分布式场景,构建有竞争力的金融强一致性分布式数据库。

图例一:华为金融分布式数据库

华为金融分布式数据库在架构上分为4层:

1、分布式扩展层:实现高扩展能力,在SHARDING下32节点内扩展比不低于0.8;完整ACID支持及高性能分布式事务(读/写一致性),TPCC标准模型分布式事务性能下降小于5%;

2、企业级内核层:最高8000并发;10T数据量下,性能变化曲线优于MySQL等开源数据库;具备FlashBack、RecycleBin、监控SessionWait和TopSQL等高价值企业维护特性;

3、并发集群层:通过RDMA和GBP实现快速倒换;

4、存储复制层:基于Paxos优化的Z-Paxos分布式一致性协议,支持跨DC的Raft或者Paxos分布式一致性协议,支持两地三中心多副本,动态选主,解决主备倒换一致性等难题。

四、解决方案达到效果

Z银行上线后的总结:

1、高性能

a、96核下TPCC大于100万TPMC;支持3000并发性能不下降;可管理数据量达到5T;长期高性能压力测试下,吞吐量和时延的曲线平稳性持平Oracle;

b、支持基于CBO的执行计划优化,5TB级数据量下复杂SQL性能达到Oracle的80%。

2、实现RTO≈0: 切换时间小于1s,检测时间RDMA环境下可小于5s

3、高扩展能力:实现32节点扩展比不低于0.8;线程池/线程复用,支持8000+长连接性能平稳;

4、单套业务系统开发效率提升30%。基于高性能内核可以组建高性能的数据库集群,业务的重心可以聚焦在业务逻辑上,无需将主要精力放在数据本地化、分布式事务、SQL语句等纯数据库层面的优化上,简化了业务开发复杂度;

5、解决单机可靠性问题;AZ内节点异常,可快速切换到热副本,将业务连续性影响控制在1-5秒以内,远低于Oracle的15-30秒。

6、跨DC一致性复制,实现Z行同城双AZ高可用能力。

  • 发表于:
  • 原文链接https://kuaibao.qq.com/s/20181009G24DLB00?refer=cp_1026
  • 腾讯「云+社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。
  • 如有侵权,请联系 yunjia_community@tencent.com 删除。

扫码关注云+社区

领取腾讯云代金券