专栏首页CSDN技术头条分布式NewSQL数据库实践——民生银行经典案例

分布式NewSQL数据库实践——民生银行经典案例

前言

此前,金融信息化建设主要依托原有集中型 IT 架构进行维护扩展,系统规模及复杂程度呈指数级增长,各类瓶颈逐渐暴露,日益增长的数字金融需求同旧式的系统架构缺陷之间的矛盾愈加凸显。

中国人民银行、中国银行保险监督管理委员会等金融监管部门逐渐推出分布式转型政策要求,金融企业开始兴起分布式转型浪潮。

民生银行作为中国第一家非国有企业所有的银行以及中国领先的零售银行,管理的总资产为 3.2 万亿人民币,运营 33 家分支和超过 700 家银行网点。在业务创新和技术创新上,民生银行一直走在业界的前列,尤其在人工智能、大数据领域,民生银行做出了很多积极的尝试,取得了不错的成效。

银行分布式转型需求

应用和业务层的压力,给商业银行IT和数据架构带来了新需求和挑战,分布式技术架构转型的需求也就应运而生。商业银行亟需分布式架构转型,主要体现在如下几个方面:

1

提升海量数据系统管理弹性。当商业银行系统内数据量急剧增大时,系统需要弹性地扩容以应对PB级别以上的数据管理,这种弹性容量调整可以实现让所有数据保持在线。

2

提升数据系统管理性能。针对客户的实时需求,商业银行数据系统需要满足高并发业务操作需求,实现海量数据超高性能读写以及实时访问查询。

3

满足多类型数据处理需求,提升系统效率。在跨业务的融合中,亟需实现对多模数据的统一管理,从结构化数据到半结构化数据再到非结构化数据,进而实现不同类型的数据统一融合管理,从而大大提升系统效率。

4

简化开发运维节约成本。随着应用的增多,更需要分布式架构支持,进行数据分区管理,实现业务有效隔离。同时,保持系统的弹性、兼容性,大大简化运维开发。

5

有能力支撑核心业务系统的国产产品。除了数据安全的要求和“技术先进”,对于核心业务,更重要的是对产品代码级具有控制力,这样可以保证产品针对用户共性需求不断进行迭代更新,也带来产品稳定性以及高效强力的技术支持。

民生银行新一代数据库应用情况

目前,在数据库领域,民生银行新一代数据库的应用目前主要分为三个领域。

数据库分库分表

针对数据弹性扩容和性能、高可用等要求,我们也针对数据库进行了分库分表改造。目前已经实现Oracle、IBM DB2以及MySQL数据库的分库分表改造,总分库数超过15,分表数超过500张。

传统数据库的跨中心分布和双活

我们针对IBM DB2等传统关系型数据库产品进行了跨中心分布和双活的改造。提升总体安全性,提升RTO,RPO,实现“5个9” ,降低风险提高效率,操作过程更简单透明,同时大大提高软硬件资源利用率,节约了建设成本。

新型分布式数据库产品使用

除了传统数据库的分布式改造,民生银行也积极尝试新型分布式数据库产品。如国内的分布式数据库SequoiaDB,目前已经在海量数据查询、分布式影像平台和归档数据管理等在线业务系统中规模部署使用。

分布式NewSQL创新实践

当前分布式架构转型的改造已经取得相当成效,但随着我行各类业务负载的不断增大,以及直销银行、互联网金融和人工智能等创新业务的拓展,同时分布式数据库应用也需要向更核心的业务系统推进。当前方案面临新的挑战:

1

开发运维成本: 分库分表方案,在扩展性和性能、并发上仍有瓶颈,且开发投入的各项成本高。分库分表的方案需要预先根据业务对数据库进行切分,这样的方案丧失了较多的弹性,同时在运维层面,也需要投入不小的人力。

2

降低使用和运维成本: MySQL兼容性。开源数据库MySQL目前在互联网行业应用较广,许多应用也基于MySQL开发,但是目前的分布式数据库很多没有实现完全的MySQL兼容,因此在实际投产后,实际的使用和运维成本更高了。

3

进入核心业务场景: 使用开源数据库、中间件方案,由于没有商业化厂商的支持和行业积累,稳定性没有保证,再进入核心业务系统时存在一定风险。

4

国产化要求:在分布式数据库领域,不能过分依赖海外开源产品,需要着重考察国内自主可控的分布式数据库产品。

针对上述需求,我们在分布式NewSQL的创新实践中,经过测试和对比,我们最终选择巨杉的SequoiaDB。

SequoiaDB 3.0 版本,目前已经实现完整协议级别MySQL兼容,可以在数据库层面做到分布式并且对已有业务全兼容。同时,巨杉在金融行业已经有过大规模使用考验,在产品成熟度上更可靠。


分布式NewSQL数据库平台,在使用SequoiaDB 3.0 后,体现了几大业务优势:

  • 分布式可扩展性:存储层的分布式数据引擎,可以实现数据量的弹性扩容,灵活应对业务需求的调整。
  • 微服务架构:整个平台参考了微服务架构,接入层的SQL实例和存储层的存储节点都可以进行自由的配置,应用可以按需选择SQL实例和存储节点。
  • MySQL完全兼容:接入层实现了完全协议级兼容MySQL,应用无缝对接,大大降低使用和运维成本。

业务场景测试结果

为了体现NewSQL平台的优势,我们选取了SequoiaDB在几个主要业务场景下的一些测试数据进行说明,这些业务场景可以代表我行的许多重要交易场景:

渠道复杂查询场景

此场景以查询为主,查询语句较复杂,涉及4张表的关联,其中包括2张大的流水表的关联操作,每张表记录数达到数亿条,最终匹配结果达到数百条记录。

在实际测试中系统的业务处理能力仍然可达到平均每分钟3,916.45笔,并且运行过程系统的吞吐量表现非常平稳。

高频交易流水查询场景

此场景以高频查询为主,主要针对近期的流水记录,查询频率较高。共涉及3张表,其中小流水表和资料表记录条数分别为3000万条,大流水表为3亿条。

通过测试,在该场景下,每分钟的业务处理能力可达到1,886,184.03笔,如此高的吞吐量仍然能够在整个过程中持续保持平稳。

柜台业务办理场景

此业务以查询和更新为主,执行频率高,对响应时间要求高。其中查询业务涉及3张表,其中两张资料表为1000万,3000万条数据,维度表数据为1万条;更新操作则涉及资料表1000万条记录和维度表 1万条记录。

混合查询和更新,在执行过程中可能出现不同事务对同一条记录的读写冲突,因此吞吐量表现出现一些小幅度波动,但总体平均每分钟的业务处理仍然可达到51,090.03笔。

计费业务场景

此业务场景以插入、更新和查询为主,执行频率高,对响应时间要求高。其中查询涉及两张资料表和两张维度表,资料表记录数分别为1000万与3000万;插入操作涉及两张流水表,记录数分别为3000万与900万;更新则涉及一张维度表与一张流水表,记录数约为1万与1亿。

业务场景较为复杂,每笔业务至少包含50余个数据库操作,混合着插入、更新以及查询等多种操作,平均每分钟的业务处理仍然可达到9,861.57笔。,相对波动也比较小。

小结

SequoiaDB 3.0 的MySQL兼容性较为优秀,扩展能力较好,总体性能满足重要交易系统的要求。后续,我们将会把更多现有分库分表方案难以处理的业务向NewSQL平台迁移。

我们也会持续评估未来大规模使用分布式数据库的可能性,充分发挥NewSQL数据库的优势,帮助我们的业务、技术创新,同时也希望我行在分布式数据库建设过程中的可以分享更多成功经验。

作者简介

周鹏,现就职于中国民生银行信息科技部,负责全行数据库维护及分布式数据库平台建设等工作,具有多年的数据类系统架构设计及调优经验。对于新型分布式数据库、大数据生态系统研究具有浓厚兴趣。

本文分享自微信公众号 - GitChat精品课(CSDN_Tech),作者:CSDN

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2018-05-09

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 2017年数据库技术盘点

    在数据库领域,回顾2017这一年,精彩纷呈,热点不断,而且不乏标志性的事件发生。 如Oracle提出的自治数据库这样的概念,把数据库技术带入一个新世界。其实AI...

    CSDN技术头条
  • 专访天数科技创始人兼CEO李云鹏:充分尊重工程师的个性差异

    李云鹏,天数科技创始人兼CEO;曾任美国甲骨文公司全球研发总监,从事甲骨文数据库10g至12c的研发工作。日前,笔者采访了李云鹏,请他分享国内外数据库发展的差异...

    CSDN技术头条
  • 企业在数据库领域面临的五大挑战

    大数据时代,数据已成为公司最有价值的资产之一,因此,设计、实现和维护好数据库,对公司是至关重要的。 根据IDC数据显示,在2015年到2017年间,数据库市场已...

    CSDN技术头条
  • 腾讯智造,新一代云数据库CynosDB,“C”位出道!

    CynosDB是腾讯云自研的新一代高性能高可用的企业级分布式云数据库。融合了传统数据库、云计算与新硬件的优势,100%兼容开源数据库,百万级QPS的高吞吐,不限...

    腾讯云数据库 TencentDB
  • 磊哥测评之数据库saas篇:腾讯云控制台、DMC和小程序

    随着云计算和数据库技术的发展,数据库正在变得越来越强大。数据库的性能如处理速度、对高并发的支持在节节攀升,同时分布式、实时的数据分析、兼容主流数据库等强大的性能...

    磊哥测评
  • PingCAP 与腾讯云达成合作,HTAP 数据库 TiDB 现开放内测

    日前,分布式关系型数据库公司 PingCAP 宣布与腾讯云正式达成合作,联手打造全新云数据库服务—— HTAP 数据库 TiDB。目前 HTAP 数据库 TiD...

    PingCAP
  • 腾讯云自研数据库CynosDB发布会现场实录

    2018年11月22日, 腾讯云新一代自研云原生数据库CynosDB正式发布。这是业界第一款全面兼容市面上两大最主流的开源数据库MySQL和PostgreSQL...

    腾讯云数据库 TencentDB
  • 对话李飞飞:云数据库战争已经进入下半场

    李飞飞,现任阿里巴巴集团副总裁、高级研究员,阿里云智能数据库事业部总负责人。加入阿里巴巴之前为美国犹他大学计算机系终身教授。研究成果多次获得了IEEE ICDE...

    数据和云
  • PingCAP 完成 D 轮 2.7 亿美元融资,创造全球数据库历史新的里程碑

    企业级开源分布式数据库厂商 PingCAP 日前宣布完成 2.7 亿美元的 D 轮融资,创造全球数据库历史新的里程碑。 本轮融资由纪源资本(GGV Capita...

    PingCAP
  • 首届鹅厂DB吐槽大会,约你来战

    导语 | 使用数据库的过程中,总有那么些问题不吐不快?成本高、灾备不好做、运维耗时耗力、半天找不到故障原因?那这边建议您体验云数据库,打开新的“槽点世界”~ ...

    腾讯云数据库 TencentDB

扫码关注云+社区

领取腾讯云代金券