最佳实践大奖:中兴通讯大数据平台在中国农业银行的应用

2017年12月7-9日,由中国计算机学会(CCF)主办,CCF大数据专家委员会承办,中国科学院计算技术研究所、中科天玑数据科技股份有限公司与CSDN共同协办,以“大数据与智能”为主题的2017中国大数据技术大会在北京新云南皇冠假日酒店隆重举办。中兴大数据中国农业银行应用获最佳实践大奖,本文将介绍中兴通讯大数据平台在中国农业银行的应用。

项目背景及挑战

当今时代,利率市场化,同业竞争加剧,迫使金融企业要尽快引入新技术,完善移动渠道的访问能力,增加服务渗透力,加快新业务部署上线速度。残酷的竞争导致利润空间下降,IT 成本压缩。传统银行IT架构采购和维护成本过高,更低成本优势的IT 技术成为了金融企业的需求。同时,“IOE”对金融业形成事实垄断,产品闭源不可控,IT系统依赖性过大,导致金融企业失去议价能力,安全风险越来越大。种种问题都使金融企业更加关注新技术的发展,更加急切的探寻可行的解决之道。

大数据技术在时代的招呼下应运而生,自诞生之日起,就成为了金融行业关注的目标,其海量数据处理能力、低廉的架构成本、开源的风险可控性都满足了金融企业的需求,各大金融企业纷纷投入资源开展研究与应用。

中国农业银行(Agricultural Bank of China,简称ABC,农行)是中国大型上市银行,中国五大银行之一。数年来,中国农行一直位居世界五百强企业之列,在“全球银行1000强”中排名前7位,穆迪信用评级为A1,在国际、国内都极具影响力。

中国农业银行从2011年开始,投入大量资源进行大数据技术研究。目前已有多个基于开源大数据组件的业务系统研发投产。但随着的大数据技术的深入应用,大数据技术的复杂性、不规范、缺乏有效技术支持等问题越来越成为大步前进的障碍。一方面随着数据的爆炸性增长,传统架构已经无法满足金融行业的实际需求,在信用风险、合规审计、柜面改造等多个业务领域都急切需要大数据技术的支撑。另一方面Apache Hadoop、CDH、IDH等大数据技术及开源平台,在规划架构、技术支持、故障恢复、生产运维等方面缺少技术支持,导致应用产品开发成本难以控制,投产应用产品稳定性欠佳,研发运维严重脱节。

大数据技术方案

2015年4月初,中国农业银行完成对多个厂商大数据产品的完备性测试,中兴通讯GoldenData HD大数据平台产品顺利入围,双方确定了正式合作的意向,将合作建设国内金融行业规模最大、能力最强的大数据平台,目标支持500节点以上集群,满足行内各部门的大数据应用需求。

GoldenData HD是基于开源技术成熟的大数据商用平台,整合了中兴通讯在近10年大数据项目实践中的技术沉淀。平台涵盖了数据的采集、存储计算、分析挖掘、应用建模、可视化展现以及运维管理等全部能力。 GoldenData HD产品架构如下:

产品主要特性:

1)成熟稳定:基于多年的技术和经验积累,平台的功能、性能、可靠性和稳定性都经过农行的极为苛刻的验证,达到了行业领先水平。

2)开放包容:集成超过20个组件,其中约80%为独立的开源软件。在融合的同时,进行了大量的创新和优化,使之更具商用价值。

3)统一运维:统一大数据管理系统,一站式满足系统快速部署、集中管理及可靠运维需要。

4)安全可靠:精心设计的安全架构,构建高忱无忧的应用访问环境。

5)便捷访问:自主研制的开放管理中间件平台(ODPP),在大数据基础平台之上架设统一访问层。

6)快速开发: 平台集成了大数据挖掘分析相关的各种基础算法库、开发工具、可视化工具,客户可以快速实现应用开发,赢得商机。

经验总结

目前中兴通讯大数据平台GoldenData HD已经在中国农业银行多个研发部门应用,逐步替换CDH、IDH等已有产品。平台功能的完备性、性能的可靠性得到了客户认可。除了平台产品以外,中兴通讯还提供了技术开发、维保服务及培训、疑难问题解决、技术支持和客户化等多种类型的服务。

通过应用产品在中国农业银行的信用风险、身份鉴别、柜面业务改造、对公客户关系管理、合规审计等业务领域进行了实际应用。此外,管理会计、个人客户关系管理、风控等多个业务领域也在开展规划工作。

1.文件管理平台

文档管理平台是第一个移植到GoldenData HD上的业务应用。移植过程中,GoldenData HD平台中提供的Solr扩容工具,采用自动化技术能够自动将数据重新分布到新增集群节点,为移植后的扩容工作提供了有力的帮助,有效缩短了扩容过程周期。

目前,此平台部署在中国农业银行上海数据中心50个节点的集群中,使用了HDFS、Yarn、Zookeeper、HBase、Hive、Solr等组件,为全行提供文档查询服务。系统投产后,因业务数据的飞速增长,于2017年5月进行扩容,之后再2017年11月进行迁移升级,有效提升了系统的负载能力。通过2年多的推广应用,文件管理平台从辅助性产品已经提升为业务支柱性产品,目前已经完成中国农业银行5个省份的网点柜面身份鉴别业务改造,2个省份的网点柜面业务无纸化改造。

2.信用风险:交易图谱构建

信用风险管理系统是中国农业银行大数据应用的核心内容,原有系统受限于系统结构,难以处理多达30亿的法人客户交易数据,仅月度数据查询一次就需要20多分钟,无法满足实际业务需要。为此,双方成立联合团队,在架构方面,确定了HDFS、Yarn、HBase、WAS、GBase组成的混合架构;在性能目标方面,创新性应用了HBase的协处理器,在集群中各RegionServer上进行分布式并行过滤与查询计算,实现了查询过程的降维处理要求,有效提升了查询反馈效率,使升级后的系统达到了预定性能目标。目前,此项目已经顺利投产。项目过程中,一共搭建了三套GoldenData HD集群,分别用于开发、测试、投产,有效帮助客户控制了项目研发周期,提升了系统性能水平。

系统投产后,查询效率有了极大的提升。原月度数据查询需要20多分钟,改造后数据查询反馈速度小于1秒。

3.基于大数据的多维分析平台

为了满足金融分析业务需求,中国农业银行以Cognos为基础构建了庞大的多维分析服务系统。但随着数据的增长,原有系统逐渐成为阻碍行内优化精准营销的障碍。 在中兴通讯的支持下,2017年初,双方合作开展了大数据多维分析技术研究,以大数据平台的Kylin为核心组件,进行了深入的功能、性能研究、测试。经测试,发现面对大数据量的Cube,相比Cognos,Kylin的构建速度有近10倍的提升。

基于研究成果,2017年3月份,基于大数据的多维分析平台项目,以中兴通讯GoldenData HD(ZDH)为基础,构建百亿级数据量的多维分析平台,以云服务模式满足各领域商业智能分析需求。

2017年7月此平台投产上线,并为管理会计系统提供了第一个Cube服务。后继将在各业务系统升级改造过程中,逐步取代原有的Cognos,实现全行集中的大数据多维分析服务平台。

专家推荐语

该应用案例基于对金融信息化系统在大数据背景下面临的实际挑战,深入分析了数据处理的复杂性问题,采用中兴通讯先进的大数据产品(GoldenData HD),构建了开放的数据存储、查询和分析系统,有效提升了海量数据存储和业务应用查询的速度,为中国农业银行在大数据时代的超越发展提供了有力的支撑。

原创声明,本文系作者授权云+社区-专栏发表,未经许可,不得转载。

如有侵权,请联系 yunjia_community@tencent.com 删除。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏大数据

大数据安全市场现状和需求分析

后web2.0时代,互联网、物联网每天都在生产大量数据,人们对于这些庞大数据资源的价值渴求,使得“大数据”的概念得以问世。如果说“数据”是支撑未来核心技术的基础...

3507
来自专栏腾讯数据中心

互联网数据中心运营发展及实践

Kenny: 各位领导、各位专家、各位嘉宾,大家下午好! 先自我介绍一下,我叫郁智华,在腾讯负责数据中心运营工作。非常高兴今天有这个机会能够向在座各位嘉宾、领导...

37512
来自专栏CDA数据分析师

译文|数据湖泊和网络优化:什么才是电信和大数据的下一个阶段?

在过去,关系数据仓库为电信运营商提供着非常好的服务,但现在已到了不能只考虑最简单的问题的时候了。在不久的将来,非结构化数据将是燃料,将引燃权利危及风险管理和决策...

1626
来自专栏云资讯小编的专栏

腾讯云正式加入CNCF和Linux基金会,参与全球开源生态圈

美国东部时间5月8日,全球知名非营利性组织CNCF (Cloud Native Computing Foundation)在全球开源盛会“2017 OpenSt...

2830
来自专栏云计算D1net

Autopilot浮现 微软的云计算密钥

作为微软首席执行官,萨蒂亚·纳德拉可能还是位初来乍到的新人,但他对于该公司的关键性内部工具以及与Amazon及谷歌开展竞争的方案早已非常熟稔:这正是名为Auto...

3456
来自专栏人称T客

2017年DevOps发展情况报告,现实当真如理想一般丰满?

T客汇官网:tikehui.com 撰文 张珅健 DevOps目标在于加快软件发布和部署流程速度,加强自动化,降低系统出错频率,并且能更快地消除宕机和错误的影响...

3193
来自专栏人称T客

全球市场中十五大云托管厂商一览

在如今这个云计算盛行的年代,显而易见的是,不仅云服务厂商本身具有很大的影响力,而且云托管服务/云管理服务(Cloud Managed Services )厂商一...

2915
来自专栏SDNLAB

运营商再度提升CDN关注,SDN/NFV成2015年重要关注点

2015年3月31日,2015第三届亚太CDN峰会圆满落下帷幕,本届CDN峰会以“大数据背景下的流量经营”为主题,力邀广电总局、工信部、腾讯云、阿里、迅雷、乐视...

31310
来自专栏业界资讯

中国移动打通全球首个5G独立组网系统全息视频通话

中文科讯网消息:据搜狐科技消息,6月28日上午,在2018年上海世界移动大会期间,中国移动联合大唐电信、爱立信、华为、英特尔和诺基亚等全球合作伙伴共同发布“5G...

320

云数据库安全,农场和餐馆:知道你的来源的重要性

这篇内容篇幅比较长,如果不想深入探讨或时间有限,可以看总结:为了确保公司基于云的资产的安全性,首先应用经过修改的经过验证的真实数据安全实践来以解决虚拟网络环境的...

1968

扫码关注云+社区