大数据为金融创新插上翅膀

导读：农业银行以“一心六维”为核心的企业级全面自主可控大数据平台，实现了大数据统一解决方案，为国家基础软件自主可控和同业大数据建设起到了示范作用

作者｜赵维平「中国农业银行研发中心高级专家」

文章｜《中国金融》2019年第4期

当前大数据技术发展日新月异，金融同业在建设大数据时面临一系列共性问题：数据来源及结构复杂，信息碎片化严重，大体量数据处理技术难度大，服务场景单一，缺乏一体化的解决方案，核心软硬件受限于外部产品。中国农业银行高度重视大数据体系建设，并将大数据建设作为全行科技战略三大工程之一，积极探索，开拓创新，走出一条全面自主可控、全面技术创新、全体系解决方案的大数据建设之路。

“一心六维”构建大数据摩天大厦

面对互联网时代金融科技迅猛发展的潮流，农业银行顺应时势，提出“统筹规划、顶层设计、共享复用、分步实施”十六字方针总设计思路，全面构建“一心（新）六维”的大数据体系，进而实现快、全、准、强的四大目标。所谓“一心”，指的是一颗敢于创新、自主研发的中国心；所谓“六维”，指的是构建具有全面多态融合、全面数据覆盖、全面应用支持、全方位数据服务、全面智能分析以及全流程管理支撑六大优势的大数据平台完整解决方案。

自主可控大数据平台实现多项创新

唯有自主可控，方能实现真正的安全，摆脱技术掣肘局面，在国际竞争中占据优势地位。为此，农业银行以建立安全、自主、可控的大数据平台为己任，创新性地以“国产PCServe集群 + 国产MPP数据库 + 开源Hadoop框架”的方式，首次实现了大型金融商业公司大数据平台基础软硬件的全部国产化。在此过程中，农业银行自主研发了ETL、统一调度、运行监控、亚健康检查、统一访问层等一系列的配套工具，构建了大数据平台安全可控的基础；进一步从技术和管理两方面入手，形成全流程可控的双闭环，构建了完整的大数据技术生态圈。与此同时，农业银行大数据平台在虚拟集群、数据同步、流计算等方面采用一系列的创新技术，解决了困扰业界的诸多问题，成为行业的引领者与开拓者。

混搭架构为大数据奠定坚实基础

强功能、高稳定、高可用、易扩展的基础环境是大数据服务体系之本。农业银行大数据平台创造性采用MPP数据库和开源Hadoop深度融合的技术体系，构建大规模集群，处理海量行内外结构化及非结构化数据。平台总体存储数据量达11PB，日终批量运行约8小时，实现PB级结构化数据处理、EB级非结构化数据处理以及毫秒级响应流计算处理三大能力。

农业银行大数据平台建设实践中，经过科技人员和业务部门的共同努力，许多困扰业界的难题迎刃而解：基于海量数据双指针DC块增量同步的双活机制，实现了每日增量备份、查询与批量分离、异常发生时进行双活切换三大突破；基于非对称部署的联邦架构打破MPP集群扩展瓶颈，计算节点集群可达300台；基于Hadoop的海量数据高效备份策略，兼具强校验机制，解决大数据备份难题；自主研发预处理平台、流计算平台、数据访问总线，使得大数据平台具备了分布式高效加工处理、可扩展存储、分布式检索查询以及支持异构、异源、异库的统一数据访问能力，为上层应用提供全天候、全模式的强大支撑。