TiDB 帮助万达网络科技集团实现高性能高质量的实时风控平台

作者 | 陈新江 万达网络科技集团大数据中心

万达网络科技集团 是中国唯一的实业+互联网大型开放型平台公司,拥有飞凡信息、快钱支付、征信、网络信贷、大数据等公司,运用大数据、云计算、人工智能、场景应用等技术为实体产业实现数字化升级,为消费者提供生活圈的全新消费服务。

万达网络科技集团的技术团队,建设和维护着一套实时风控平台。这套实时风控平台,承担着各种关键交易的在线风控数据的写入和查询服务。实时风控平台后端的数据库系统在高性能,可靠性,可扩展性上有很高的要求,并且需要满足如下核心功能和业务要求:

  1. 风控相关业务数据实时入库
  2. 实时风控规则计算
  3. 通过 BI 工具分析风控历史数据
  4. ETL 入库到 Hadoop 数据仓库
  5. 应用开发侧需要兼容 MySQL,降低应用改造门槛为实现上述业务目标,万达网络科技集团的技术团队在实时风控数据库选型的早期阶段,首先选择了 MySQL Galera Cluster 作为数据库集群的技术架构。这套 MySQL 数据库架构通过不同于 MySQL 主流复制技术的复制机制,实现在多个 MySQL 节点间建立强同步关系,实现数据的副本和高可用。但经过业务实践,发现这套方案有诸多问题,其中比较突出的有以下几点:
    万达的技术团队还考察了市场上用的比较多的 MySQL 主从复制以及通过 MySQL Proxy 中间件实现分库分表的方案。但这些方案,无论是高可用安全性,强一致性,还是对业务应用所需要的复杂事务/JOIN 操作以及横向扩展能力上,都无法满足实时风控平台的业务要求。这些问题集中反映在以下几个方面:最终万达的技术团队,通过评估验证,选择了 TiDB 帮助他们实现一个高性能,高可靠性和高扩展能力的实时风控平台后台数据库系统。
    TiDB 产品和技术方案对业务需求的支持和助力效果,集中表现在:
  6. MySQL Galera Cluster 自身的强同步机制以大幅度降低集群整体性能为代价,集群整体性能比单节点 MySQL 还差。所以不能很好的满足“风控相关业务数据实时入库”的业务需求。
  7. 同时,MySQL Galera Cluster 的 JOIN 支持非常弱,不足以支持 BI 相关的复杂分析。
  8. 集群整体性能的短板加上对 JOIN 支持的薄弱,使得要在业务上实现大并发高性能的风控规则计算变的很困难。
  9. 基于 MySQL 主从复制方式的高可用方案,容易出现诸如接入层脑裂和数据不一致的风险。
  10. 基于 MySQL Proxy 中间件的方案,缺少对分库分表后的跨库跨表的分布式事务支持以及对复杂JOIN 的良好支持,因此也无法满足业务上风控规则实时计算和复杂查询的需求以及对业务团队的 BI 需求的支持。
  11. 基于 MySQL Proxy 中间件的方案需要业务代码的开发妥协,需要显式设计和指定分库分表的切分规则和路由配置,开发改造和运维成本显著增高。
  12. 在实时风控平台的高并发高性能的对外服务过程中,在线灵活扩容的相关工作在 MySQL Proxy 中间件架构中无法高效和可靠的实施。
  13. 借助 TiDB 的分布式计算和存储引擎,集群对外服务的处理能力大大增强,高并发实时的风控规则计算能够轻松的处理完,相比较原来的 MySQL Galera Cluster 方案,单位处理性能提升了数倍。并且数据库集群获得了线性提升和扩展的能力。
  14. 集群整体 QPS(万级起)和 Latency (毫秒级) 对风控的实时性要求做出了技术保证。
  15. 无需考虑分库分表,对业务应用透明无侵入,应用开发和维护变得直观且简单。业务相关数据量规模和请求即便高速增长,也无需担心应用的复杂调整和运维的风险。
  16. TiDB 针对分布式事务和强一致性的完善设计以及对各种 JOIN 模式的支持,使得实时风控类和 BI 分析类的业务应用能够高效运行。

这套实时风控平台,借助于 TiDB 的可靠性架构和高性能分布式处理能力,在业务生产环境已经稳定运行超过半年,期间经历过环境问题导致的故障,经历过诸如 “618” 高并发、大流量活动的严格考验。

万达网络科技集团大数据中心技术专家陈新江表示:"TiDB 的表现让万达的技术团队有了信心,接下来将在 TiDB 的基础上,根据业务特点,拓展应用规模,增加诸如 TiSpark 复杂计算组件,整合 CDC 工具以提升 ETL 实时性以及增强 TiDB 运维管理能力等多项架构和技术演进工作,继续在万达的核心业务架构中发挥重要作用。"

原创声明,本文系作者授权云+社区-专栏发表,未经许可,不得转载。

如有侵权,请联系 yunjia_community@tencent.com 删除。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏服务端技术杂谈

想将系统服务化?看看服务化鼻祖亚马逊踩过了哪些坑

SOA 面向服务架构 服务化 公司项目最近的主要工作是准备服务化,作为服务化的鼻祖亚马逊的架构服务化过程经历了哪些困难,踩了哪些坑?通过这篇文章你可以略知一二...

3337
来自专栏腾讯云服务器团队的专栏

腾讯云批量计算:用搭积木的方式构建高性能计算系统

高性能计算(High Performance Computing)简称 HPC,在气象预测、地震预警、生命科学、军事、航天等高科技领域有着广泛的应用,其代表超级...

4844
来自专栏腾讯云数据库(TencentDB)

如何运营亿级QPS的Redis系统

作者:冯伟源,高级工程师,腾讯云Redis系统运维负责人。6年DBA经验,一直从事SQL优化、实例调优、数据库架构、海量数据库集群运维、运营平台建设和管理等工作...

4962
来自专栏华章科技

架构干货:来听听架构大师 Martin Abbott 怎么说

大会邀请到来自 世界级软件架构大师 & eBay 前首席技术官 Martin Abbott,Facebook 工程经理、Uber 实时流处理系统主管、Airbn...

1037
来自专栏TEG云端专业号的专栏

「TEG+系列」破局者 - 腾讯金融级数据库TDSQL

一 背景 金融行业的数据库市场,尤其是银行的核心交易系统,一直是Oracle、DB2这类传统商业数据库的天下,但是: 2014年,微众银行选用TDSQL作为其核...

3585
来自专栏性能与架构

Twitter是如何保障系统稳定性的?

Twitter时常会因为某个热点事件导致系统压力突增,例如前两年日本的“天空之城”事件使Twitter创造了新的发推记录,之前是每秒1万条左右,因为这个事件,突...

3286
来自专栏京东技术

【对话】京东基础架构部高级软件开发工程师张墨飞:全面解读京东ForceBot全链路压测平台技术核心

? 张墨飞 基础架构部高级软件开发工程师 京东技术11.11基础架构峰会讲师 电商大促准备好的第一件事情就是应对高流量,全链路压测无疑成为必不可少的一个环节...

3324
来自专栏CSDN技术头条

分布式NewSQL数据库实践——民生银行经典案例

此前,金融信息化建设主要依托原有集中型 IT 架构进行维护扩展,系统规模及复杂程度呈指数级增长,各类瓶颈逐渐暴露,日益增长的数字金融需求同旧式的系统架构缺陷之间...

1147
来自专栏CSDN技术头条

大数据架构的未来

作者:Matt Kalan 原文:The Future of Big Data Architecture 译者:孙薇 本文讲述了大数据的相关问题,以及“大数据架...

1947
来自专栏数据猿

【案例】恒丰银行——大数据实时流处理平台

数据猿导读 恒丰银行针对商业银行在风险、营销、科技运维、内控管理方面对实时数据处理能力的需求,基于实时流处理相关技术,构建全行统一的实时流处理平台,有力支撑了相...

2836

扫码关注云+社区