最佳实践大奖:中兴通讯大数据平台在中国农业银行的应用

2017年12月7-9日,由中国计算机学会(CCF)主办,CCF大数据专家委员会承办,中国科学院计算技术研究所、中科天玑数据科技股份有限公司与CSDN共同协办,以“大数据与智能”为主题的2017中国大数据技术大会在北京新云南皇冠假日酒店隆重举办。中兴大数据中国农业银行应用获最佳实践大奖,本文将介绍中兴通讯大数据平台在中国农业银行的应用。

项目背景及挑战

当今时代,利率市场化,同业竞争加剧,迫使金融企业要尽快引入新技术,完善移动渠道的访问能力,增加服务渗透力,加快新业务部署上线速度。残酷的竞争导致利润空间下降,IT 成本压缩。传统银行IT架构采购和维护成本过高,更低成本优势的IT 技术成为了金融企业的需求。同时,“IOE”对金融业形成事实垄断,产品闭源不可控,IT系统依赖性过大,导致金融企业失去议价能力,安全风险越来越大。种种问题都使金融企业更加关注新技术的发展,更加急切的探寻可行的解决之道。

大数据技术在时代的招呼下应运而生,自诞生之日起,就成为了金融行业关注的目标,其海量数据处理能力、低廉的架构成本、开源的风险可控性都满足了金融企业的需求,各大金融企业纷纷投入资源开展研究与应用。

中国农业银行(Agricultural Bank of China,简称ABC,农行)是中国大型上市银行,中国五大银行之一。数年来,中国农行一直位居世界五百强企业之列,在“全球银行1000强”中排名前7位,穆迪信用评级为A1,在国际、国内都极具影响力。

中国农业银行从2011年开始,投入大量资源进行大数据技术研究。目前已有多个基于开源大数据组件的业务系统研发投产。但随着的大数据技术的深入应用,大数据技术的复杂性、不规范、缺乏有效技术支持等问题越来越成为大步前进的障碍。一方面随着数据的爆炸性增长,传统架构已经无法满足金融行业的实际需求,在信用风险、合规审计、柜面改造等多个业务领域都急切需要大数据技术的支撑。另一方面Apache Hadoop、CDH、IDH等大数据技术及开源平台,在规划架构、技术支持、故障恢复、生产运维等方面缺少技术支持,导致应用产品开发成本难以控制,投产应用产品稳定性欠佳,研发运维严重脱节。

大数据技术方案

2015年4月初,中国农业银行完成对多个厂商大数据产品的完备性测试,中兴通讯GoldenData HD大数据平台产品顺利入围,双方确定了正式合作的意向,将合作建设国内金融行业规模最大、能力最强的大数据平台,目标支持500节点以上集群,满足行内各部门的大数据应用需求。

GoldenData HD是基于开源技术成熟的大数据商用平台,整合了中兴通讯在近10年大数据项目实践中的技术沉淀。平台涵盖了数据的采集、存储计算、分析挖掘、应用建模、可视化展现以及运维管理等全部能力。 GoldenData HD产品架构如下:

产品主要特性:

1)成熟稳定:基于多年的技术和经验积累,平台的功能、性能、可靠性和稳定性都经过农行的极为苛刻的验证,达到了行业领先水平。

2)开放包容:集成超过20个组件,其中约80%为独立的开源软件。在融合的同时,进行了大量的创新和优化,使之更具商用价值。

3)统一运维:统一大数据管理系统,一站式满足系统快速部署、集中管理及可靠运维需要。

4)安全可靠:精心设计的安全架构,构建高忱无忧的应用访问环境。

5)便捷访问:自主研制的开放管理中间件平台(ODPP),在大数据基础平台之上架设统一访问层。

6)快速开发: 平台集成了大数据挖掘分析相关的各种基础算法库、开发工具、可视化工具,客户可以快速实现应用开发,赢得商机。

经验总结

目前中兴通讯大数据平台GoldenData HD已经在中国农业银行多个研发部门应用,逐步替换CDH、IDH等已有产品。平台功能的完备性、性能的可靠性得到了客户认可。除了平台产品以外,中兴通讯还提供了技术开发、维保服务及培训、疑难问题解决、技术支持和客户化等多种类型的服务。

通过应用产品在中国农业银行的信用风险、身份鉴别、柜面业务改造、对公客户关系管理、合规审计等业务领域进行了实际应用。此外,管理会计、个人客户关系管理、风控等多个业务领域也在开展规划工作。

1.文件管理平台

文档管理平台是第一个移植到GoldenData HD上的业务应用。移植过程中,GoldenData HD平台中提供的Solr扩容工具,采用自动化技术能够自动将数据重新分布到新增集群节点,为移植后的扩容工作提供了有力的帮助,有效缩短了扩容过程周期。

目前,此平台部署在中国农业银行上海数据中心50个节点的集群中,使用了HDFS、Yarn、Zookeeper、HBase、Hive、Solr等组件,为全行提供文档查询服务。系统投产后,因业务数据的飞速增长,于2017年5月进行扩容,之后再2017年11月进行迁移升级,有效提升了系统的负载能力。通过2年多的推广应用,文件管理平台从辅助性产品已经提升为业务支柱性产品,目前已经完成中国农业银行5个省份的网点柜面身份鉴别业务改造,2个省份的网点柜面业务无纸化改造。

2.信用风险:交易图谱构建

信用风险管理系统是中国农业银行大数据应用的核心内容,原有系统受限于系统结构,难以处理多达30亿的法人客户交易数据,仅月度数据查询一次就需要20多分钟,无法满足实际业务需要。为此,双方成立联合团队,在架构方面,确定了HDFS、Yarn、HBase、WAS、GBase组成的混合架构;在性能目标方面,创新性应用了HBase的协处理器,在集群中各RegionServer上进行分布式并行过滤与查询计算,实现了查询过程的降维处理要求,有效提升了查询反馈效率,使升级后的系统达到了预定性能目标。目前,此项目已经顺利投产。项目过程中,一共搭建了三套GoldenData HD集群,分别用于开发、测试、投产,有效帮助客户控制了项目研发周期,提升了系统性能水平。

系统投产后,查询效率有了极大的提升。原月度数据查询需要20多分钟,改造后数据查询反馈速度小于1秒。

3.基于大数据的多维分析平台

为了满足金融分析业务需求,中国农业银行以Cognos为基础构建了庞大的多维分析服务系统。但随着数据的增长,原有系统逐渐成为阻碍行内优化精准营销的障碍。 在中兴通讯的支持下,2017年初,双方合作开展了大数据多维分析技术研究,以大数据平台的Kylin为核心组件,进行了深入的功能、性能研究、测试。经测试,发现面对大数据量的Cube,相比Cognos,Kylin的构建速度有近10倍的提升。

基于研究成果,2017年3月份,基于大数据的多维分析平台项目,以中兴通讯GoldenData HD(ZDH)为基础,构建百亿级数据量的多维分析平台,以云服务模式满足各领域商业智能分析需求。

2017年7月此平台投产上线,并为管理会计系统提供了第一个Cube服务。后继将在各业务系统升级改造过程中,逐步取代原有的Cognos,实现全行集中的大数据多维分析服务平台。

专家推荐语

该应用案例基于对金融信息化系统在大数据背景下面临的实际挑战,深入分析了数据处理的复杂性问题,采用中兴通讯先进的大数据产品(GoldenData HD),构建了开放的数据存储、查询和分析系统,有效提升了海量数据存储和业务应用查询的速度,为中国农业银行在大数据时代的超越发展提供了有力的支撑。

原创声明,本文系作者授权云+社区发表,未经许可,不得转载。

如有侵权,请联系 yunjia_community@tencent.com 删除。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏安全领域

使用技术拯救自然:物联网版

几个世纪以来,人类把大自然视为可被驯服和征服的东西。而最近有所改变。近几十年来,社会意识已经改变,注意力已经转向保护环境,而不是试图控制环境,让它...

3719
来自专栏ThoughtWorks

迁移中的企业科技新范式|商业洞见

[摘要] 科技现在已经成为商业变革必不可少的推动力量,引领着我们从数字时代进入后数字时代。演进中的交互、增强人类效能、平台的兴起、安全和机器人的崛起这五个宏观板...

3507
来自专栏VRPinea

告别VR “恐怖谷”形象——这7家公司将为你塑造一个完美的虚拟化身

2787
来自专栏互联网数据官iCDO

7个简单方法,通过线上数据快速了解用户

朱顺意,iCDO原创志愿者 想要在线上得到更多的转化(咨询、留言、下单),了解你的客户是很重要的。我们无论进行哪种营销行为,都需要先知道客户相关特征:他们在产品...

2476
来自专栏Android 开发者

这款老牌 “装机必备” 应用,一边用 Kotlin 换血,一边深耕精细市场

2537
来自专栏大数据钻研

什么是真正的程序员

这篇文章的原文来自:A Little Printf Story 作者仿照《小王子》中的情节,通过小printf遇见的不同类型的程序员,最后悟出什么才是真正的程序...

3378
来自专栏北京马哥教育

如何成为无可替代的Linux运维工程师?

做技术行业久了,总会有一种危机感。技术更新太快,自己的学习时间又太少;刚刚抽时间学会Python,发现技术圈的潮流换成了GO语言;GO语言的书刚买回家吃了几天灰...

4906
来自专栏玉树芝兰

罗胖为什么开源《得到品控手册》?

2017年5月18日,罗胖开了个得到“001号知识发布会”,会上的第4号知识产品很特殊。它不是新的专栏,而是开源的《得到品控手册》。

1252
来自专栏奇点大数据

大数据变现十日谈之六:用户画像

“用户画像”这个说法现在是在数据分析和数据挖掘领域是很流行的。 这个说法比较形象,它是指我们在数据库或数据仓库里使用用户信息的记录,对这些信息逐渐丰富以后完成...

2935
来自专栏CDA数据分析师

数据分析软件市场的8大苗头,告诉你真正的大势所趋!

紧张精彩的2015年已经结束了,现在是时候回过头来看一看数据分析软件市场的潮流。 已经有几个趋势继续变得壮大(比如开源,云托管,基于Hadoop的SQL解决方案...

1998

扫码关注云+社区