专栏首页EAWorld大数据资产管理实战

大数据资产管理实战

各位好,今天和大家分享“大数据资产管理实战”这个课题。

本次分享包括大数据资产管理的概述、方法论和实施效果三个部分的内容。

· · ·

第一部分:大数据资产管理概述

提到企业数字化转型,不得不提现在的一个主流观点:未来的企业必将成为数字化企业,每个公司都将会成为软件公司!未来企业增长和竞争的能力越来越取决于其数字化创新能力。为了应对企业数字化转型,企业IT架构采用分布式、微服务、移动化、大数据等技术来应对业务变化带来的挑战。

那么在业务敏捷变革、应用快速创新的前提下,企业的大数据需要能够准确反映出企业的业务情况,进而需要高质量的数据和完善的数据管理机制,也就是大数据资产管理。下面我们来看一下复杂场景下数据资产的一个实例。

如上图所示,一笔4G的XDR信令数据在完整情况下将保存5份数据,分别为:数据流Storm、Hadoop、MPP、DB、内存网格Redis。信令数据根据业务用途的不同分别存放。同样的,不同存放的数据又是同一来源,相互之间存在着关系。

因此,在复杂的异构环境下,使用一套行之有效的工具进行数据模型管理是非常有必要的。

在单个系统开发时,一般使用ERWin、PowerDesigner等工具进行数据模型设计。

当设计异构环境时,就存在着各种问题了:

1、如何设计逻辑模型

2、设计好的逻辑模型如何快速的分发到各个环境中

3、分发到异构环境中的数据模型是否不被修改

那么在这种异构环境下,就存在着“数据模型设计→数据模型分发→数据资产管理”的数据模型生产闭环了。

1、数据模型设计:负责逻辑模型的设计,不依赖于数据平台,支持协作;

2、数据模型分发:负责逻辑模型在各个数据平台的分发,支持对接各类数据平台;

3、数据资产管理:负责异构环境下数据模型的管理,支持审计、分析等。

今天,我们主要分享数据资产管理的相关内容。

· · ·

第二部分:大数据资产管理的方法论

大数据资产管理是一个复杂而长期的工程,主要包括“建规范、搭平台、管资产”三个环节。

建规范:制订资产的管理流程(加强资产的生成、使用和退出管理),制订数据资产的技术模型(全局数据资产标识)及规范。

1、实现异构资产的统一注册、统一审计、统一监控的全生命周期管理

2、通过多种手段提升资产管理的安全,防止敏感信息泄露

大数据资产管理的规范包括两部分,分别为管理规范和技术规范:

1、管理规范:对数据资产的管理过程进行了规范化和标准化,对使用数据资产管理系统的人员进行角色定义,介绍了各个角色在不同的环境中需要完成的相关工作。

2、技术规范:对数据资产的管理技术进行规范化和标准化的阐述,包括数据资产模型和数据资产管理接口规范。

经过抽象,数据资产管理模型分为三层:业务分类→业务对象→数据资产

在实物资产管理时,通过固定资产标签进行唯一确认。那么在数据资产管理时,同样需要对数据资产进行全局确认(数据资产全局唯一标识)。如下图所示:

数据资产管理平台建议的标识由五段七项内容组成。五段标识分别为根前缀、业务域、资产类型、提供者/租户、资产名称组成,其中提供者/租户、资产名称根据具体的数据资产分别展开两段。

在上图中,我们以“Hadoop类资产”为例,全局唯一标识为:

1、Hadoop类HDFS资产就是:根前缀、业务域、资产类型、提供者/租户(HDFS集群、HDFS域)、资产名称(文件名、文件类型)组成。

2、Hadoop类HIVE资产就是:根前缀、业务域、资产类型、提供者/租户(Hive服务、Hive数据库)、资产名称(数据库对象名、数据库对象类型)组成。

3、Hadoop类HBASE资产就是:根前缀、业务域、资产类型、提供者/租户(HBase服务、HBase命名空间)、资产名称(数据库对象名、数据库对象类型)组成。

搭平台:建设数据资产管理平台,实现数据资产管理

实现异构环境下的数据资产管理

根据业务目标的不同,数据资产存放在数据流、Hadoop、MPP、数据库、内存网格等异构环境中。数据资产管理平台提供了如下能力:

1、一体化的数据资产管控(注册、审计、统计、影响分析等)

2、多环境的数据资产使用同一套管理办法及流程,与存储模型、业务域没有关系

那么,我们首先来看看如何快速实现异构环境的数据资产注册……

基于统一的CWM规范数据模型,实现对异构数据源的资产管理。既提供丰富的采集适配器实现数据资产的自动注册,同时也提供在线编辑、接口注册、Excel导入等人工注册的方式。

数据对象模型注册及访问接口:提供标准的HTTP+JSON、WebService接口,Hadoop、MPP等平台的开发工具可以通过调用标准接口集成数据对象模型注册及访问功能。

数据资产管理平台实现对异构数据源的数据模型/数据进行审计及统计分析。

在数据模型审计及统计分析时:

1、平台获取数据模型配置

2、平台数据平台中获取实际的数据模型

3、平台将针对数据模型的审计结果导入审计结果分析引擎

在数据审计及统计分析时:

1、平台获取数据模型配置

2、平台获取数据审计规则配置

3、平台从数据平台中获取实际的数据(抽样)

4、平台将针对数据的审计结果导入审计结果分析引擎

管资产:梳理现有异构环境下的数据,通过平台分阶段进行数据资产管理

1、完整:包括整个资产以及上游、下游资产关系等

2、详细:细化到资产的各个字段定义等详细信息

3、结构化:实现每个资产信息结构化存储

基于数据资产管理平台建设数据资产服务能力,组建数据管理体系团队。团队的职责包括:

1、负责数据管理体系管理流程及管理办法建立

2、基于平台进行常态化的数据管理(审计和统计分析),完善数据对象的管控流程,形成数据生产标准

3、基于平台完善数据字典的维护流程及完成数据字典的日常维护工作

数据管理场景(部分)如下:

每天:

1、数据对象的注册、变更、审批;

2、重要业务对象的分析(不同态之间的差异分析、模型不一致审计、关键业务字段质量分析等);

3、配合完成数据共享平台接入。

每周:

1、全局业务对象的分析(不同态之间的差异分析、模型不一致审计、关键业务属性质量分析等)。

新系统上线:

1、数据对象的注册、变更、审批;

2、配置关键业务字段属性质量。

因为业务需求的不断变化,大数据资产的管理(梳理、规范、优化)工作是持续且长期的。因此,在客户的高度重视下,客户、平台厂商、业务厂商的紧密配合及持续演进才能建设数据资产的服务能力!!!

· · ·

第三部分:实施大数据资产管理的项目效果。

根据前面介绍的大数据资产管理方法论,普元主导实施了一系列大数据资产管理类项目。本人有幸作为项目负责人参与了上海移动数据资产管理平台的建设,上海移动建设数据资产管理平台时,采用“规范+平台+服务”的环节,大数据资产管理已经初见成效。通过大数据资产管理项目的建设及实施,上海移动实现了:

1、建立数据资产管理服务体系

2、统一数据模型注册管控

3、提供有效的数据质量审计审核

通过建立数据资产管理平台,上海移动从整体上改善了企业对多种数据的管控能力,将数据的价值提升,为日后基于大数据的应用与业务创新提供了有效支撑。

最后,我们来总结一下大数据资产管理,它提供了以下业务价值:

1、建设数据资产管理能力体系

2、多环境一体化的数据对象管理(注册、审计、统计、影响分析等)

3、从全局角度初步提升各环境的数据质量

4、为基于大数据的应用创新提供基础,可输出各类标签库

同时,通过数据资产管理平台的数据积累,通信行业可以得出如下标签:

1、客户标签类(客户自然属性、客户偏好信息、客户群信息)

2、终端信息类(某一终端品牌在特定时间区间下的用户群分布、地域分布、型号分布、市场占比情况等信息的查询服务)

3、位置信息类(某具体位置在特定时间点或区间下的客流量、客户群分布等信息查询服务)

4、等

在组织及制度流程的保障下,通过第三方中立平台进行大数据资产的管理是一个可行且必由之路!

关于作者

徐松林 资深咨询顾问

2007年加入普元,现任通信事业部技术总监,负责普元产品与解决方案在通信行业的推广和应用,拥有十年以上大型企业信息化架构设计与建设经验。主持参与了普元公司在国家电网的业务流程管理(BPM)、业务流程监控(BAM)、业务流程分析(BPA)等平台的建设,主导了上海移动大数据资产、大数据共享等平台的咨询和建设。徐松林对大数据治理、服务治理、能力开放等企业数字化转型领域有着深入的研究和洞察,并对通信行业信息化建设有着丰富经验。

本文分享自微信公众号 - EAWorld(eaworld),作者:徐松林

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2016-08-03

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 微服务架构下的数据治理

    大家好: 今天我带来的题目是微服务架构下的数据治理。 ? 之前在群(注:普元云架构设计群)中分享过“微服务与元数据”的概念(注:详见【超详解PPT】元数据驱动...

    yuanyi928
  • 航空业大数据治理:规划企业数据架构的两种模式和三个关键技术

    目录: 一、航空业数据治理现状 二、航空业大数据治理的三个发展趋势 三、规划企业数据架构的两种模式 四、规划企业数据架构的三个关键技术 五、总结 一、航空业数据...

    yuanyi928
  • 浅谈制造业主数据项目解决方案

    在中国制造2025战略决策的指引下,制造业都在智能制造领域探索自身的发展路径,希望能够跟上数据发展的浪潮,以数据驱动业务快速提升企业竞争力。那么面对企业海量数据...

    yuanyi928
  • 高成本的数据中心资产管理

    高成本的数据中心资产管理,是指依靠传统人工运维的方法,主要针对机柜、U位资产、网络设备等维护管理,监控资产的运行状况,实现账实相符。

    james_008
  • 京东大数据走进北大:揭秘电子商务大数据平台技术架构与产品架构

    4月20日,京东大数据来到了北京大学光华管理学院,这次由京东大数据部平台运营管理负责人葛胜利老师给北大光华管理学院的师生们带来主题为“电子商务大数据平台技术架构...

    小莹莹
  • 大数据24小时 | 戴尔壕气侧漏670亿美元收购EMC,知乎数据库“罢工”用户隐私惨遭泄露

    <数据猿导读> 知乎数据库出现严重事故,用户数据泄漏恐怕在劫难逃;甲骨文宣布收购云计算仓储及库存管理平台 LogFire,用于提升供应链管理能力;美国初创公司S...

    数据猿
  • 大数据周周看 | TalkingData涉足互联网金融,“酷米客”数据被盗,价值将超20亿

    <数据猿导读> 艾美仕健康与Cloudera 达成合作,将用于打造医疗大数据平台;人民日报与四川日报合作,开启西部媒体大数据新篇章;eBay收购SalesPre...

    数据猿
  • 关于大数据的十个有力事实

    大数据文摘
  • 首席数据官应该讲什么“基本法”?

    这是一个人人都谈大数据的时代,尤其对很多企业来说,数据已是议事日程上的当务之急。首席数据官(CDO)这一新兴职位就在这样一种背景下越发壮大。但问题是,首席数据官...

    DT数据侠
  • 王叁寿:数据资产运营有望在2019年下半年爆发

    地方政府将数据资产运营视为唤醒政府数据价值的最佳路径,掀起政府大数据应用的发展高潮。随着政府大数据资产价值的释放,数据资产运营迎来高速发展期,有望在2019年下...

    企鹅号小编

扫码关注云+社区

领取腾讯云代金券