首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >“数据交付”难题,中国铁塔这样解开了

“数据交付”难题,中国铁塔这样解开了

作者头像
用户5498443
发布2021-07-07 15:58:43
4550
发布2021-07-07 15:58:43
举报

不同于很多大型央企,组建于2014年的中国铁塔公司的信息化系统始建之初就构建在天翼云、华为云和联通云等云服务的基础上,生来就是云公司,没有很多央企传统应用系统的包袱。尽管如此,应用中他们也遭遇了数据及时交付的难题。

数据交付效率难题

中国铁塔实施的是"一体两翼"的策略,以面向行业内塔类与室分业务为"一体",以基于站址资源社会化共享业务、面向社会专业化备电保障服务为"两翼",如今已经发展培育了多点支撑的业务增长格局。

中国铁塔根据需要,目前已经构建了大大小小130多个信息化应用系统,涉及5000多台虚拟机以及大约7PB数据存储容量。

这100多个包括生产系统、准生产系统、开发验收以及测试系统。根据需要,以每3个月左右为周期,定期要向开发/测试系统提交生产数据,每一次数据交付周期,都让专业技术人员大费周章。

据了解,为了尽可能减少对生产系统性能的干扰,传统获取数据的方式,要借助准生产系统恢复备份数据,然后提交生产/测试系统使用。这个过程主要依靠手工完成,效率不高,大约需要1个月左右时间,加班加点才能完成,由于依靠备份数据,这些数据不能完全贴合业务的实时状况。

有数据显示:一份生产系统数据,在企业内部往往会有10多个数据副本,供容灾、测试、开发以及数据分析等使用。对这些副本数据缺乏行之有效管理,存在很多安全管理的漏洞,很多泄密事件系由此产生。中国铁塔没有那么多数据副本,但是开发/测试\验收对数据还是有周期性需求,所涉及系统众多,因此存在数据及时交付的问题。

经过多方技术调研,中国铁塔引入了上海上讯ADM (Agile Data Management,敏捷数据管理平台)。采用新的系统,原本需要6人1月的工作量,最多一周就可完成,有时候2天就可完成工作量,数据实时性也得到保障,难题迎刃而解,开发/测试部门满意度显著提升。

揭秘ADM系统

让人交口称赞ADM是怎样一个系统呢?

ADM是一套综合数据治理解决方案,它采用数据库虚拟化等核心技术,保障业务数据高效使用、安全管控以及合规审计,由生产数据管理、备份数据管理、敏感数据管理、测试数据管理、数据访问管理五部分组成,可以解决数据备份与恢复、备份数据自动化恢复与有效性验证、静态数据脱敏、测试数据多副本快速交付、数据库权限访问控制与动态脱敏以及多场景融合下的实际问题。

在中国铁塔案例中大显身手的就是测试数据多副本快速交付系统,所谓拷贝数据管理(CDM)系统,它通过数据库虚拟化技术获取、存储与生成生产数据副本,借助原始数据存储,虚拟数据库挂载等技术,实现数据快速交付、集中管控,以及中间数据存储、流转等目标。

需要格外关注的是,CDM系统不仅交付数据,同时也交付了一套完整存储系统,供开发/测试等业务部门使用,实现了数据集中管控,从而摆脱了单纯数据拷贝引发的失控问题。

据了解,CDM提交的这个存储系统,内置了独有的压缩比高达4:1的高效压缩存储池,存储即压缩,数据存储成本效率高。要知道传统数据交付,企业也需要占用磁盘等存储空间,副本越多,容量越大,越分散,这同样占用企业资金。

如今,透过集中管控的存储系统,上海上讯ADM专利技术能够做到一份基础数据源,应对多种业务系统的需要,ADM可快速拉起多份虚拟数据库供不同系统使用,彼此之间可独立读/写操作,其内置的智能读/写缓存机制,不仅解决系统并行操作使用的压力,同时保障数据完整和安全使用。

通常情况下,ADM可将TB量级数据库在分钟级拉起,满足开发/测试、查询分析、合规审计、应急容灾等业务的需要。

由于采用了集中式数据存储系统,在数据管理上,ADM就能够提供可视化虚拟数据库拓扑结构图,对系统全局数据使用关系提供预览,让测试数据的组织机构、优化测试数据的资源分配等一目了然;ADM提供的虚拟数据库资源分组管理,可实现同组人员数据操作权限共享、测试数据库分类管理等功能;其测试数据版本管理,可跟踪数据流向,识别虚拟数据库使用状态,实时拍摄快照,实现数据版本的保留,数据的回退或切换,让数据版本管理更加灵活。

冰山一角而已

在中国铁塔案例应用中,上海上讯ADM旗开得胜,马到成功。但是青出于蓝胜于蓝,这不过是小试牛刀,冰山一角而已,ADM的惊喜远非如此

CDM能够解决的不仅是数据交付,也具有数据备份与恢复、备份数据自动化恢复与有效性验证、静态数据脱敏、以及数据库权限访问控制与动态脱敏等多种功能,依托大数据和人工智能,未来也可以增加数据分析的功能,为数据业务创新提供支持!

在传统信息化系统布局中,生产系统、办公管理等核心系统之外,容灾备份、开发/测试,以及数据分析等属于辅助系统,企业根据实际情况分散建设,缺乏全局统筹规划和管理。但是随着数字化转型,数字经济的备受关注,辅助系统的重要性不断提升。

统筹规划辅助业务系统的技术也已经成熟,所谓第二存储,简单说就是透过一个集中式的系统,同时满足容灾备份、开发、测试和数据分析等辅助业务系统的需求,变分散为集中,集中调度,集中管理。上海上讯ADM就是其中的佼佼者之一。

全面推广和使用ADM可能吗?问题并不在技术上,技术已经非常成熟,需要突破的是人的观念。

长久以来,习惯了现有的应用方式,以容灾为例,已经习惯用备份、数据复制的方式来实现容灾,也有行业等保条例的要求。很多业务系统也是按照这个节奏逐步发展成熟。现在需要我们改变这种方式,挑战就是显而易见的。

不求有功但求无过的禁锢,让我们难以突破。

但是这种突破带来的价值是显而易见的,无论容灾保护速度、水平,还是DevOps、数据创新与分析,AI应用,完全架构在一个统一的数据架构基础上集中管理,安全性、效率完全得到保障。

突破也不意味着推动重建,以一个问题作为突破口,由点到面,逐步发展,类似农村包围城市的道路,也不是一种最明智的选择!

无论如何,ADM的新机遇已经到来。

小结

数字经济时代,围绕着数据这个核心创新业务发展,必将成为发展的关键环节。新时期,不仅需要新的技术方法,更需要视野和勇气!数据交付不过是冰山一角,还有更多的金矿有待发掘,这是一个数据创新的时代!

本文参与 腾讯云自媒体分享计划,分享自微信公众号。
原始发表:2021-06-23,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 来自IT的我 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体分享计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
相关产品与服务
云数据迁移
云数据迁移(Cloud Data Migration,CDM)是腾讯云提供的 TB~PB 级别的数据迁移上云服务。本服务为您提供安全可靠的离线迁移专用设备,满足本地数据中心进行大规模数据迁移上云的需求,解决本地数据中心通过网络传输时间长、成本高、安全性低的问题。
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档