专栏首页数据和云打造运维大脑:翼支付高速发展背后,甜橙金融的云化智能演进

打造运维大脑:翼支付高速发展背后,甜橙金融的云化智能演进

本文是依据张小虎老师在“数据技术嘉年华”大会演讲整理而来。

云计算如何改变金融行业

不久前,在由ACOUG云和恩墨主办的2018数据技术嘉年华的金融科技实战分论坛上,甜橙金融分享了其云化变革的成功经验。

对于不少读者来说,甜橙金融可能有些陌生,但是如果提起翼支付,相信很多人都是耳熟能详。除了翼支付这一广为熟知的业务之外,甜橙金融还提供了交费易、甜橙理财、甜橙小贷等全面的金融服务业务。

在高速发展的互联网金融业务背后,甜橙金融后端IT基础设施层面经历了怎样的变革?甜橙金融运维技术中心负责人、技术创新中心负责人兼高级总监张小虎向趣味科技分享了甜橙金融云化变革的心路历程。

甜橙金融运维技术中心负责人、技术创新中心负责人张小虎

从“人肉运维”中,解救崩溃的DBA

甜橙金融以互联网金融业务为主,已拥有支付、财富管理、消费金融、征信、金融云等互联网金融的核心能力。目前,翼支付在国内第三方支付平台中,牢牢占据了国家队第一支付APP的位置。截止今年7月底,甜橙金融整体交易金额超过8000亿。累计用户数5亿,月活用户4000万

但是,仅仅2年前,甜橙金融的数据管理运维还停留在典型的传统企业模式。张小虎介绍,自己在2015年接手管理公司的数据库团队时,整个技术团队还处在“人肉运维”的痛苦挣扎中。

人肉运维”是由于自身的自动化运维能力暂时满足不了业务高速发展,管理模式和效率提升乏力,只能依靠人海战术。

一方面,技术人员冗余。当时运维技术团队规模超过100人,仅DBA这一岗位就超过40人。但依然觉得人手不够,所有团队成员的体验非常一致,又苦又累,疲于应付。比如,数据订正、版本发布等流程繁琐耗时,技术人员应付日常运维已经身心俱疲,更没有时间学习行业最新技术与投入自动化研发。

另一方面,即使所有人满负荷运转,当时的IT数据管理和运维能力也不能满足高速发展业务的需求。

在这样的背景下,甜橙金融从可怕的人肉运维转化为零散的工具化运维,最后达到了心情愉悦的运维平台化,Mozis (墨者)平台甜橙金融云和恩墨共同打造的智能化运维体系,通过提高生产力的方式,彻底改变了甜橙的运维方式。

平台化管理,人更少效率却更高

“现在,运维团队50人左右,DBA人员只有12个。”张小虎自信地介绍,云化改造之后,运维技术中心团队规模极大精简,但运维管理能力和复杂度却是之前的好几倍。

通过对IT基础能力的云化改造,甜橙金融在业务层面构建了以交易、支付、账务为核心的3.0核心平台,甜橙金融所有的信贷、收付、理财、保险、保理等分支业务全部构建在3.0核心平台之上。从平台数据处理能力来看,目前甜橙金融日交易笔数8000万,并发支付处理能力达到每秒1万笔

这些效果的背后,是甜橙金融打造的以华东主机房和华南副机房组成的异地双活架构,并在自研私有云基础上,进行容器与虚机的混合部署

Mozis平台架构

其中,业务需求架构包含了:

基础元数据层维护了所有的数据库底层元数据,包括存储、主机、数据库等日常使用管理信息; 基础能力层解决日常的基础工作,解放dba的工作压力; 业务拓展层高级数据库工作,慢慢形成智能运维体系。

甜橙金融技术创新中心高级总监张小虎介绍,甜橙金融在云化改造过程中有两大难点,第一,是要在最短的时间内,对甜橙金融成立以来的所有金融业务和应用的大梳理。这项基础工作耗费了将近一年半的时间,但是非做不可,而且非常有价值。大梳理之后,甜橙金融的技术团队开始制定标准技术方案,进行运维层面的技术能力整合统一。

Mozis 技术架构

技术方面的设计与实现全部通过开源完成:

前端使用vue架构,前后端完全分离的方式,使得平台扩展性更强,平台结构更加清晰; 后台利用 Django+MySQL完成server端的服务,它提供了一整套web服务方式,使得开发更加快速; 使用celery完成异步任务; 使用redis进行数据缓存; 利用sshansible完成远程主机控制; 使用ANTLR完成SQL审核的词法解析。

这样就为运维、应用、数据的统一管理打下了基础。第二个难点则是在甜橙云的数据迁移和割接期间。这个过程除了对甜橙云的整体技术架构是重大考验外,还需要业务部门的密切配合,才能使得甜橙云整体割接在计划时间内安全完成。

Mozis SQL 审核模块

完成了基础设施平台化,管理自动化,随之解决了一系列的问题。现在DBA的工作可以直接对接JIRA,使得SQL流程更加规范化,体系化;也可以清晰的展现各个平台的工单问题。

Mozis SQL审核模块

通过优化改进,系统进一步实现了:

  • 流程融合:吧JIRA流程和数据订正流程进行融合;
  • 审核权限下发:把SQL审核的权限下发给开发,利用平台把控风险,实现快速反馈;
  • 高级审核:采用ANTLR进行词法分析,灵活可配置审核规则,实现权限把控。

墨者(Mozis)数据库资源概览

在金融云安全方面,甜橙金融对全网主动攻击的识别率已达到99.5%,同时攻击告警也实现了秒级响应。在金融云智能风控方面,甜橙金融则实现了100ms内对实时交易进行风险事件鉴别。

分布式数据库集群

甜橙金融在部分业务采用了 TiDB 作为数据存储,TiDB 是真正的引擎级分布式SQL数据库,有如下优点:

  • 无需分库分表中间件;
  • 应用透明的引擎级分布式SQL数据库;
  • 无需业务妥协的分布式事务支持;
  • 传承单机SQL数据库的友好和易用。

实现联机交易和联机分析 混合计算负载:

1.强大的联机交易(OLTP)能力; 2.实时分析业务支持能力(TiSpark); 3.自动化的混合负载和调度管理; 4.ETL“free”。

便捷的部署运维管理能力:

一键,多场景部署; 在线数据库集群摇摆升级; 便捷的扩容和伸缩; 集成监控告警; K8s解决方案提供与云平台管理对接能力。

不断向前,甜橙金融开始全面打造『运维大脑』,通过建立基础设施层、运维样本层,完成基础环境构建、基础数据采集,进一步向上,通过不断的算法迭代,构建智能决策中心,对运维进行不断改进,顶层则建立最终的应用级呈现 - 甜橙运维大脑应用层,通过各种应用将运维数据呈现出来,并最终演进到自动运维、智能运维的目标上来。

金融科技的突飞猛进,离不开云计算等基础技术的真正落地。短短两年,甜橙金融对IT基础设施的云化改造,成为企业战略转型的底层技术支撑,也非常值得其他互联网金融企业参考与借鉴。

参考:趣味科技v

本文分享自微信公众号 - 数据和云(OraNews)

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2018-11-27

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 【云和恩墨大讲堂】SQL玩转AWR裸数据

    作者简介: ? 罗海雄 云和恩墨优化专家 ITPUB论坛数据库管理版版主,2012 ITPUB全国SQL大赛冠军得主,他还是资深的架构师和性能优化专家,对 SQ...

    数据和云
  • 经典故障:四个雷,3*2*2*3种随机方法的特殊恢复案例

    墨墨导读:恢复专家前辈给我们精心准备了个故障,埋了四个雷,整个恢复过程感觉像是过山车,整理分享至此,希望对大家有帮助。

    数据和云
  • 【新书连载】诊断Cache buffers chains案例一则

    题记:这是某移动运营商在SQL线下审核项目中,协助开发商完善数据库性能的过程。以往开发商遇到此问题总是怀疑是数据库的Bug,试图尝试重启Tuxedo、Weblo...

    数据和云
  • 每天刷抖音了,你知道张一鸣创业史吗

    1983年,张一鸣出生于福建龙岩一个事业单位家庭,父亲在东莞开办电子产品加工厂,母亲是护士。与事业单位大院里其他父母对子女严加管束不同,热爱尝试新鲜事物的父母很...

    张叔叔讲互联网
  • 最新姿态估计研究进展

    最新姿态估计研究进展 自上而下:就是先检测包含人的框,即human proposal,然后对框子中的人进行姿态估计。一般RCNN(区域CNN就是这个思路) 自下...

    微风、掠过
  • hadoop2.7.3源码解析之hdfs删除文件全流程分析h

    客户端通过ClientProtocol.delete(String, boolean)方法来删除文件,最终实现是NameNodeRpcServer.delete...

    大数据技术与应用实战
  • A3C原理和代码解析

    完整代码地址:https://github.com/dgriff777/a3c_continuous

    用户1908973
  • 查找git ignore的追踪

    前言 版本控制说简单也简单,说复杂也困难的多。作为开发者,最基础的版本管理和团队协作的功能必须掌握。而其他一些相关的信息也可以了解下。比如,这次就有同事遇到了问...

    Ryan-Miao
  • zookeeper编程02-服务器上下线动态感知

    NameNode判断DataNode是否下线的时间太长了,利用zookeeper实现服务器上下线动态感知

    CoderJed
  • 2018 年,去百度面试 Java 后端的一次面试经历

    来自:风铃无声江舟听雨 链接:https://www.jianshu.com/p/e8bb9bfb3253 一、百度一面 1、给一个函数,返回 0 和 1,概率...

    java思维导图

扫码关注云+社区

领取腾讯云代金券