官方首次披露,TDSQL十年自主可控之路(附PDF)

3月12日,在北京,腾讯云发布了全新升级的金融业务支撑平台,平台集中整合腾讯云在云计算架构、分布式数据库、大数据以及人工智能等方面的优势技术能力,着力解决金融机构数字化转型中关键技术自主可控问题,助力构建覆盖核心架构及主要应用场景的自主可控技术体系,提升行业数字化技术安全应用水平。

腾讯分布式数据库TDSQL负责人,TEG计费平台部总监潘安群在发布会上做了题为《打造金融科技基石,腾讯云分布式数据库TDSQL》主题分享,着力介绍了TDSQL在金融行业的实践及自主可控之路。

演讲人:腾讯分布式数据库TDSQL负责人潘安群

大家下午好,下面由我给大家介绍腾讯云金融级分布式数据库TDSQL。

去年12月份,央行联合六部委发起了金融科技应用试点工作,在其通知里面提了14个要点,其中第一个要点就是要求“推动安全可靠金融级分布式数据库研发应用”,具体又有三个要求:

1、要求组织产用联合攻坚,研发具有自主知识产权,满足金融应用需求的分布式数据库。

2、参照监管沙箱思路,在风险可控前提下,稳妥有序开展试点应用。

3、以应用促创新,在试点中不断更新迭代和优化完善产品功能,打造数据一致性强、可靠性高、安全性好的金融级分布式数据库产品。

为何央行在这次的试点工作中,将金融级分布式数据库放在一个如此重要的位置?我想这里主要是监管机构看到了当前金融行业在数据库领域面临到的诸多挑战,也意识到了推进金融级分布式数据库的自主可控势在必行。具体来看,在数据库方面面临的挑战有:

1、在当前的大环境下,国家对数据库这样一个核心基础软件,自主可控的诉求与当前现实情况下金融机构的数据库几乎被Oracle、DB2等国外数据库产品所垄断之间的矛盾。

2、在普惠金融大趋势下,各家金融机构对于IT成本压缩的诉求,跟原来由国外商业数据库垄断的机器昂贵的解决方案之间巨大的差距。

3、在互联网冲击下,像微信红包,每秒发生二十几万笔的交易量,这种情况下,对于传统的金融机构也产生了很大的冲击。而传统的集中式数据库解决方案不能解决在海量用户涌进来之后的扩展性要求,这也带来了极大的运营风险。

从上面几点看,当前中国金融行业在数据库领域确实面临着不得不动的局面。

其实腾讯金融云一直也在跟监管机构、金融机构积极深入的沟通,了解行业所遇到的痛点,积极参与国家相关机构的标准规范制定,比如在2017年,我们在中国支付清算协会以及工信部旗下信通院的组织下,,联合包括多家商业银行、支付机构、数据库厂商等,共同起草了《金融级分布式交易数据库白皮书》。在去年11月份,我们的数据库产品也是以评测分第一的成绩最终成为首批通过该规范认证的产品。

接下来我想重点讲一下腾讯金融级分布式数据库具体是如何去解决当前行业痛点的。我们这个数据库产品叫TDSQL,它是一套完整的体系,不仅包括核心功能,还有运营配套在内的整套解决方案,它满足当前金融行业里面对于数据的高一致性、高可用、分布式扩展、高安全的要求。目前已经为公有云和私有云上超过500家金融政企客户提供数据库服务。

数据库作为三大基础软件之一,永远无法一蹴而就。任何一款数据库产品的成熟,必须经历时间的打磨,以及大量客户和业务场景的历练。

TDSQL同样如此。团队的萌芽应该是在2002年左右,也是腾讯首次接触计费业务,跟钱打交道,因为当时腾讯的计费产品还处于起步阶段,技术团队选择完全基于开源MySQL构建数据库体系。随着开放战略的兴起,同时为了解决计费等公司级敏感业务高可用、核心数据的零流失、核心交易的零错账等问题,腾讯数据库团队从07年开始自研了一款数据库产品,这也是TDSQL的前身,这款数据库在当时很好的支撑了09年的开放平台浪潮。

但是后来发现,这款数据库在支持腾讯内部业务体系是很完美的,但是无法很好支持合作伙伴的一些特性。因此从2012年开始,腾讯基于“开源定制化+自研”策略构建更加通用的数据库产品,正式命名为TDSQL。目标就是解决金融系统中高可用、数据一致性、水平伸缩问题。

可以说TDSQL的诞生,一开始就是为金融场景而生。

2014年对于TDSQL来说是极具重要意义的一年,第一家互联网银行微众银行筹建,在强调自主可控技术的前提下,他们技术团队对当时国内诸多数据库产品技术选型后,最终决定选择TDSQL作为其核心系统的数据库方案,这是全球首家采用分布式的数据库解决方案的银行。

2016年以后,TDSQL正式开启自主可控之路,开放给更多的金融企业使用,得益于海量业务场景的锤炼,使得TDSQL成为一款产品化数据库,具备一个完整的产品体系。截止到目前,我们为超过500+的公有云客户和28+的私有云客户提供数据库服务。

经过这么多年的沉淀,我们认为在一款分布式数据库要满足金融的诉求,必须做到如下几点,这也是TDSQL的六个核心特性。

第一个,金融行业里面最核心的两个点:数据的强一致性和金融级高可用。强一致就是避免故障后导致数据错乱和丢失,高可用就是确保99.999%以上高可用,跨区容灾,同城双活,故障自动恢复等。

第二个,在成本控制上面,会不断提升数据库本身的性能,尽量降低客户在软件、硬件以及人力等方面的成本。

第三个,就是水平扩展性,也就是分布式的特性。这是自然而然的东西,因为在海量用户涌进来之后,我们需要能够快速去做伸缩,尤其是在一些社交营销场景例如说春节红包,类似这样的场景下我们能够快速水平扩展。

第四个,是安全性。金融行业的数据安全是生命线,所以我们必须去支持SSL加密传输、透明加密、数据库防火墙、审计等安全特性,实现从数据的全生命周期安全管理。

第五点,是智能化运维体系,这个也是很多国产数据库所忽略的一点。

接下来我想就其中两点展开一下:

第一个是高可用性。像传统金融机构一般在银保监的要求里面,要求两地三中心的部署架构,在腾讯内部,在金融业务方面,很早就实现两地四中心,就是同城三中心多活的架构,这种架构可用性更高,成本更低。

第二点是智能运营体系。首先是赤兔管理平台,所有的运营操作基本上90%都能够通过管理页面完成。给我们带来的好处是,客户使用门槛低,可以快速的掌握基本的数据库运营操作;同时,管理页面的操作方式,也能够避免因为人工操作所导致的误操作风险,可以有效避免删库删数据类似问题,极大提升运营安全性,这也是赤兔运营管理平台的基本诉求。

第二个是我们的扁鹊智能DBA系统。智能DBA系统,也是我们过去十多年运营了那么多数据库实例积累的处理经验,都是血和泪的沉淀,逐渐形成了数据库诊断的专家知识库,今天我们将这些知识转换为诊断策略,通过我们的智能DBA系统分享给大家。于是在使用我们数据库产品的时候,出现各种问题不在慌,扁鹊可以为客户快速定位问题,相对于我们很多竞品出了故障两眼一抹黑,无疑是一个巨大的进步。

其次依托于腾讯云上超过20万+数据库实例的运营数据,我们构建了一个机器学习模型,基于这个模型,我们预测潜在风险,提供优化建议,这也可以使得我们的客户使用起来更加放心。

所以我们认为,整个运营配套体系的完善,也是当前数据库自主可控并大规模使用起来的一个先决条件,是安全的基本保障。

接下来我想讲两个案例:

第一个,微众银行。2014年开始筹备,2015年上线,到目前为止运行了四年多,稳定无事故,这无论对于微众来说,还是对于TDSQL来说,都是一个非常大的突破,他们最开始的数据库架构体系,基于传统的两地三中心的架构。但是2017年的时候,他们就切换成为两地四中心架构,也称为同城三中心多活架构。同城三中心架构最大的一个好处就是服务成本更低,同时可用性更高,同城三中心中任何一个数据中心的故障都能自动切换,保证数据零丢失的前提下,切换只需要40秒。值得一提的是微众银行提出的两地多中心多活架构,获得了银保监的2018年度银行业信息科技风险管理课题研究一类成果奖。这种架构应该也是行业内首创。

第二个是保险行业解决方案。我们目前在保险行业有将近20多个客户,涉及到全品类整个生态体系,像财险、寿险、互助保险、信用保证保险等。整个保险核心系统均在我们的数据库上得到了充分的验证。除了保险行业,还有前不久刚刚上市的富途证券,也是应用我们的TDSQL系统打造了他们的中台系统。正是因为这些各个领域的客户在使用我们的TDSQL,也使得TDSQL系统在自主可控的路上更加完善。这对于我们和金融行业来说,是一个多赢的局面,我们自主可控的数据库产品日趋成熟,而金融机构也可以以更低成本提供金融服务,而监管机构也能在风险可控的基础上实现国家层面的安全可控。相信经过我们的一起努力,一定可以为金融科技的创新奠定一个良好的基石。

谢谢大家!

后台回复“TDSQL”,获取本次演讲的完整PDF。

原文发布于微信公众号 - 腾讯技术工程(Tencent_TEG)

原文发表时间:2019-03-20

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

编辑于

我来说两句

0 条评论
登录 后参与评论

扫码关注云+社区