最佳实践大奖:中兴通讯大数据平台在中国农业银行的应用

2017年12月7-9日,由中国计算机学会(CCF)主办,CCF大数据专家委员会承办,中国科学院计算技术研究所、中科天玑数据科技股份有限公司与CSDN共同协办,以“大数据与智能”为主题的2017中国大数据技术大会在北京新云南皇冠假日酒店隆重举办。中兴大数据中国农业银行应用获最佳实践大奖,本文将介绍中兴通讯大数据平台在中国农业银行的应用。

项目背景及挑战

当今时代,利率市场化,同业竞争加剧,迫使金融企业要尽快引入新技术,完善移动渠道的访问能力,增加服务渗透力,加快新业务部署上线速度。残酷的竞争导致利润空间下降,IT 成本压缩。传统银行IT架构采购和维护成本过高,更低成本优势的IT 技术成为了金融企业的需求。同时,“IOE”对金融业形成事实垄断,产品闭源不可控,IT系统依赖性过大,导致金融企业失去议价能力,安全风险越来越大。种种问题都使金融企业更加关注新技术的发展,更加急切的探寻可行的解决之道。

大数据技术在时代的招呼下应运而生,自诞生之日起,就成为了金融行业关注的目标,其海量数据处理能力、低廉的架构成本、开源的风险可控性都满足了金融企业的需求,各大金融企业纷纷投入资源开展研究与应用。

中国农业银行(Agricultural Bank of China,简称ABC,农行)是中国大型上市银行,中国五大银行之一。数年来,中国农行一直位居世界五百强企业之列,在“全球银行1000强”中排名前7位,穆迪信用评级为A1,在国际、国内都极具影响力。

中国农业银行从2011年开始,投入大量资源进行大数据技术研究。目前已有多个基于开源大数据组件的业务系统研发投产。但随着的大数据技术的深入应用,大数据技术的复杂性、不规范、缺乏有效技术支持等问题越来越成为大步前进的障碍。一方面随着数据的爆炸性增长,传统架构已经无法满足金融行业的实际需求,在信用风险、合规审计、柜面改造等多个业务领域都急切需要大数据技术的支撑。另一方面Apache Hadoop、CDH、IDH等大数据技术及开源平台,在规划架构、技术支持、故障恢复、生产运维等方面缺少技术支持,导致应用产品开发成本难以控制,投产应用产品稳定性欠佳,研发运维严重脱节。

大数据技术方案

2015年4月初,中国农业银行完成对多个厂商大数据产品的完备性测试,中兴通讯GoldenData HD大数据平台产品顺利入围,双方确定了正式合作的意向,将合作建设国内金融行业规模最大、能力最强的大数据平台,目标支持500节点以上集群,满足行内各部门的大数据应用需求。

GoldenData HD是基于开源技术成熟的大数据商用平台,整合了中兴通讯在近10年大数据项目实践中的技术沉淀。平台涵盖了数据的采集、存储计算、分析挖掘、应用建模、可视化展现以及运维管理等全部能力。 GoldenData HD产品架构如下:

产品主要特性:

1)成熟稳定:基于多年的技术和经验积累,平台的功能、性能、可靠性和稳定性都经过农行的极为苛刻的验证,达到了行业领先水平。

2)开放包容:集成超过20个组件,其中约80%为独立的开源软件。在融合的同时,进行了大量的创新和优化,使之更具商用价值。

3)统一运维:统一大数据管理系统,一站式满足系统快速部署、集中管理及可靠运维需要。

4)安全可靠:精心设计的安全架构,构建高忱无忧的应用访问环境。

5)便捷访问:自主研制的开放管理中间件平台(ODPP),在大数据基础平台之上架设统一访问层。

6)快速开发: 平台集成了大数据挖掘分析相关的各种基础算法库、开发工具、可视化工具,客户可以快速实现应用开发,赢得商机。

经验总结

目前中兴通讯大数据平台GoldenData HD已经在中国农业银行多个研发部门应用,逐步替换CDH、IDH等已有产品。平台功能的完备性、性能的可靠性得到了客户认可。除了平台产品以外,中兴通讯还提供了技术开发、维保服务及培训、疑难问题解决、技术支持和客户化等多种类型的服务。

通过应用产品在中国农业银行的信用风险、身份鉴别、柜面业务改造、对公客户关系管理、合规审计等业务领域进行了实际应用。此外,管理会计、个人客户关系管理、风控等多个业务领域也在开展规划工作。

1.文件管理平台

文档管理平台是第一个移植到GoldenData HD上的业务应用。移植过程中,GoldenData HD平台中提供的Solr扩容工具,采用自动化技术能够自动将数据重新分布到新增集群节点,为移植后的扩容工作提供了有力的帮助,有效缩短了扩容过程周期。

目前,此平台部署在中国农业银行上海数据中心50个节点的集群中,使用了HDFS、Yarn、Zookeeper、HBase、Hive、Solr等组件,为全行提供文档查询服务。系统投产后,因业务数据的飞速增长,于2017年5月进行扩容,之后再2017年11月进行迁移升级,有效提升了系统的负载能力。通过2年多的推广应用,文件管理平台从辅助性产品已经提升为业务支柱性产品,目前已经完成中国农业银行5个省份的网点柜面身份鉴别业务改造,2个省份的网点柜面业务无纸化改造。

2.信用风险:交易图谱构建

信用风险管理系统是中国农业银行大数据应用的核心内容,原有系统受限于系统结构,难以处理多达30亿的法人客户交易数据,仅月度数据查询一次就需要20多分钟,无法满足实际业务需要。为此,双方成立联合团队,在架构方面,确定了HDFS、Yarn、HBase、WAS、GBase组成的混合架构;在性能目标方面,创新性应用了HBase的协处理器,在集群中各RegionServer上进行分布式并行过滤与查询计算,实现了查询过程的降维处理要求,有效提升了查询反馈效率,使升级后的系统达到了预定性能目标。目前,此项目已经顺利投产。项目过程中,一共搭建了三套GoldenData HD集群,分别用于开发、测试、投产,有效帮助客户控制了项目研发周期,提升了系统性能水平。

系统投产后,查询效率有了极大的提升。原月度数据查询需要20多分钟,改造后数据查询反馈速度小于1秒。

3.基于大数据的多维分析平台

为了满足金融分析业务需求,中国农业银行以Cognos为基础构建了庞大的多维分析服务系统。但随着数据的增长,原有系统逐渐成为阻碍行内优化精准营销的障碍。 在中兴通讯的支持下,2017年初,双方合作开展了大数据多维分析技术研究,以大数据平台的Kylin为核心组件,进行了深入的功能、性能研究、测试。经测试,发现面对大数据量的Cube,相比Cognos,Kylin的构建速度有近10倍的提升。

基于研究成果,2017年3月份,基于大数据的多维分析平台项目,以中兴通讯GoldenData HD(ZDH)为基础,构建百亿级数据量的多维分析平台,以云服务模式满足各领域商业智能分析需求。

2017年7月此平台投产上线,并为管理会计系统提供了第一个Cube服务。后继将在各业务系统升级改造过程中,逐步取代原有的Cognos,实现全行集中的大数据多维分析服务平台。

专家推荐语

该应用案例基于对金融信息化系统在大数据背景下面临的实际挑战,深入分析了数据处理的复杂性问题,采用中兴通讯先进的大数据产品(GoldenData HD),构建了开放的数据存储、查询和分析系统,有效提升了海量数据存储和业务应用查询的速度,为中国农业银行在大数据时代的超越发展提供了有力的支撑。

原创声明,本文系作者授权云+社区发表,未经许可,不得转载。

如有侵权,请联系 yunjia_community@tencent.com 删除。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏FreeBuf

台积电三大工厂遭病毒感染,iPhone A12 芯片生产或受影响

8月3日晚,台积电部分生产设备相继遭到病毒感染,导致台湾新竹科学园区的Fab 12厂区(12寸晶圆厂)、台中科学园区的Fab 15厂区(28nm和7nm生产基地...

683
来自专栏企鹅号快讯

2017年高等教育十大战略性技术(二)

编者按 EDUCAUSE分析和研究中心(ECAR)不久前发布了《2017年高等教育十大战略性技术》报告,报告主要描述2017年美国高等院校正在投入的技术,《高等...

1836
来自专栏IT大咖说

云化微服务实战篇:中金云金融DPaaS之路

摘要 中金云金融研发总监汪浩根据中金云金融的云化微服务的实战经验带来精彩分享。 ? 中金云金融DPaaS平台研发历程 2016年10月,我来到中金云金融时,遇到...

37310
来自专栏区块链大本营

快讯 | 公链专场,四位大咖分享了些什么(附PPT)

8月11日,由CSDN主办,区块链大本营、柏链道捷、极客帮创投、孔壹学院、ChainDesk、壹金链数字加密谷、准脉90孵化器协办的第十期区块链技术沙龙,在北京...

732
来自专栏安智客

UCloud 刘源:应用于数据流通的可信区块链方案

尽管云计算的发展已有一段历史,但是数据安全依然是云计算面临的主要问题。如在大数据分析、数据训练等对数据进行运算时,必须在内存中解密数据。为了降低数据对云的安全依...

1472
来自专栏老司机的技术博客

你干了一辈子信息化,可能你都不了解信息化的本质

因为要连接,所以你要被迫开放你想和别人连接的那部分,否则别人怎么连你。我是不认可全部开放的。

782
来自专栏前沿技墅

ChatOps = AIOps 落地 + DevOps升级?

1936
来自专栏云计算D1net

在云计算数据基础上构建技术层

1424
来自专栏智能计算时代

为什么IoT公司保持构建具有巨大安全漏洞的设备?

今年早些时候,一个令人震惊的故事触动了这个消息:黑客已经在奥地利的一家豪华酒店接管了电子钥匙系统,将客人锁在房间外,直到酒店支付赎金。令人惊讶的是,客人和任何曾...

2674
来自专栏安恒信息

【小安看会】RSA2016全程全景直播之—— “创新沙盒”秀

InnovationSandbox dreaming 美国当地时间13:00整RSA“创新沙盒”( Innovation Sandbox)在北厅会议中心召开, ...

33310

扫码关注云+社区