国家大数据标准将出台,企业建设大数据之路如何走?

企业用户如何避免在大数据建设中“东一榔头西一锤子”,或者完全被厂商牵着鼻子走,如何能真正获取大数据的价值?这都是企业用户在大数据建设中真正关注的问题。

本文作者:《财经》记者周源

从“2017大数据标准化论坛”上获悉,《数据能力成熟度评价模型》和《大数据技术参考模型》两项大数据重要标准已经进入报批阶段,即将为公众所用。

“大数据不仅仅是单纯的技术,在大数据时代,企业将从信息化(IT)组织向以数据为核心的组织(DT)去转变,这对企业提出许多全新的要求。”在中国电子标准化研究院信息中心副主任吴东亚说道。”

两项大数据重要标准进入报批阶段

近日,记者从“2017大数据标准化论坛”上获悉,《数据能力成熟度评价模型》和《大数据技术参考模型》两项大数据重要标准已经进入报批阶段,即将为公众所用。

两项标准都是为了帮助企业在向大数据时代转型时做好顶层设计,避免盲目行动。

《大数据技术参考模型》展示了一个通用的,由逻辑功能构建组成的大数据模型,能够让企业在建设大数据时做到“胸中有丘壑”,而且该模型独立于供应商、实现技术和基础设施。

《数据能力成熟度评价模型》将有助于准确评估企业大数据发展现状、指出存在问题和发展方向,培养大数据发展人才和规范,从而持续提升企业的数据管理能力。

据悉,《大数据开放共享》、《工业大数据》则是全国信标委大数据标准工作组下一批重点制定的标准。

下一步,企业应当如何建设大数据

从《数据能力成熟度评价模型》和《大数据技术参考模型》两项标准的简单介绍不难看出,目前国家大数据标准建设目前集中在顶层设计方面,而企业在使用和实施大数据时,除了有大数据标准顶层设计的指导,也需根据自身定制行之有效的大数据建设标准。

数据标准作为企业对数据进行定义的依据,是增强企业各部门对业务统一理解的手段,通过数据标准体系的建设,企业可以避免类似问题的出现。

企业数据标准制定的六个步骤

一般数据包标准包括制定、落地、维护等过程。其中制定过程包括规划、调研、设计;落地过程通过映射、标准执行等实现;维护过程保证了数据标准的持续更新。

1、首先,在标准制定过程中的第一个阶段,标准规划阶段,要根据业界经验和企业实际情况确定实施范围,并根据优先级和难易度制定计划。

例如,在金融行业,以金融行业十大主题为依据开展,通过业务了解,确定产品、客户、财务等几个主题是关键主题,其他主题业务关联性很弱;因此,确定实施范围,并根据紧迫度、资金等因此确定了实施计划,分多期建立。

2、接下来,在调研阶段,通过制定调查问卷、安排现场访谈、收集文档资料等手段,针对各个业务系统以及应用系统进行调研,了解跟标准相关的内容,包括现有定义、使用**惯、数据分布、数据流向、业务规则、服务部门等,形成调研报告,分析问题,并讨论解决方案。

实施过程中,如果多个部门不清楚项目意义和项目目标,首先需要对各部门做项目宣讲,让他们有充分了解。

然后,通过调研问卷方式进行初步了解沟通,同期开始大批量研究企业现有的文档了解业务和数据集。

最后,通过当面访谈深入了解信息,并讨论问题与解决方案。最终通过开评审会方式确定解决方案,并给出分析报告。

3、有了素材,接下来就是开始标准设计工作。

在这个阶段主要是在方法论指导下,完成数据标准设计和定义工作,包括数据业务描述定义(业务属性)、类型长度定义(技术属性)、其他标准信息定义。

设计出定义与分类、信息项、标准码等文档,并通过各部门的评审验证。最终达成一致,形成企业级标准。到此,标准制定工作完毕。

4、接下来主要是标准如何落地工作。把已定义的数据标准与业务系统、业务应用进行映射,标明标准和现状的关系以及可能影响到的应用。

标准落地一般通过两种方式:

1)新系统建设,直接参考数据标准;

2)旧系统通过标准映射,实现数据关系转换,以及指导后续数据平台建设。

5、做完数据标准映射,接下了就是标准落地执行。

这个过程一般需要借助专业的工具实现标准落地检查。标准执行一般有两个过程:

1)第一步分析出来现有问题,例如数据缺失、数据不一致等;

2)第二步修正,例如补录数据、修改系统、新建系统等。

通过这些措施,逐步规范数据建设过程,实现数据标准的落地。

6、数据标准也不是一成不变的,随着业务发展,有些标准需要不断的修订和完善。因此数据标准还有一个关键的管理环节,那就是需要能持续维护改进。

在数据标准维护阶段,需要有相应的需求收集、需求评审、变更评审、发布等多个步骤,并能对所有的修订做版本管理,以方便将来问题查找。

数据标准落地的几个关键

以上讲了数据标准管理的全过程,接下来我对数据标准落地的几个关键点做一个简单介绍。

第一条关键点:数据标准应该只管理核心数据定义

首先,标准不是模型,标准是可落地的核心元素。企业实际数据模型中有上万个字段,有些模型还会经常变换更新,如果把这些信息全部纳入到标准体系中,并且和数据标准建立映射,管理起来非常困难,很难真正实现落地。

因此要实现数据标准落地,不能一味追求大而全,更多的是应该关注在众多数据中挑选出的核心数据,只管理这些核心数据定义,依照核心数据建立标准,就可以实现企业数据治理的目标,还能提升数据治理的效率。、

其次,针对核心数据标准主题选择要多维度考虑。

数据标准只会关注跟业务关联度高的,能够促进业务的规范管理的数据。因此,数据标准制定,选择标准主题很重要。

第二条关键点:数据标准要包括技术与业务两种属性

1、数据标准主要是针对业务,企业很多业务的语义十分依赖业务人员的人工梳理,难度大效率低,很可能出现因为梳理人员没有及时梳理,而造成业务语义难以被及时发现和管理的问题。

未来企业将会面临数字化转型,从非结构化的文档中,将大部分业务语义抽取出来,并统一管理,成为未来的发展趋势,这种能力可以通过自然语言分析技术来实现,企业可以通过综合多个材料中对同一业务的描述,分析出最新与最广泛认可的业务定义,由业务人员确认之后,识别出业务语义,这样**减少了业务人员的工作量,提升了业务人员梳理业务语义的积极性。

2、在企业数据治理中,任何一个数据标准,如果没有对应的技术手段,都将难以落地,所以企业建立数据标准时,需要加入信息项的英文名称,来和实际数据库表中的字段相对应。

在数据标准中加入信息项的英文名称能给企业数据治理带来两方面的好处:

1)在做模型设计的时候,标准可以直接与模型设计工具集成,设计模型时就可以直接引用标准。

2)对已有系统,标准能够通过英文名称直接和应用系统的相关字段对应,自动发现与不符合标准的字段,并通过元数据直接通知给相应的系统。

3、标准中有了技术和业务信息,还需要有效的关联才能发挥效用。对于企业数据管理来说,技术能弄懂业务的前提是技术与业务之间要有对应,这种对应不能靠大量的人工梳理完成,否则业务部门负担很重,积极性不高。需要能够通过技术手段,利用数据治理工具提供商的行业实践积累,形成业务与技术的自动关联库,自动完成业务与技术对应,将能**减少业务人员的工作量,同时提升技术与业务关联的准确度,消除业务与技术之间的鸿沟。

第三条关键点:数据标准要持续更新

对于企业数据治理来说,有很多数据标准建立以后,往往只是一套书,没有根据企业业务发展及时做出更新,时间长了就成为了摆设,实际上,数据标准是需要随着企业的业务变化而不断进行修订的,比如在企业拓展新业务的时候,需要增加相应的标准进去,对于没有价值的标准,也要及时废弃。只有这样,才能保证数据标准一直能适应业务发展需要,促进标准落地。

原文发布于微信公众号 - 钱塘大数据(qtbigdata)

原文发表时间:2017-03-24

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏腾讯大讲堂的专栏

拯救品质之殇,WeTest 精品升级计划推动行业发展

16460
来自专栏无原型不设计

为什么说原型制作是产品经理必备的技能之一?

原型的最大目的, 是将产品的需求以一种简单明白的方式展现给开发者或者设计师。从而使得产品的构想和最终实际产品能够保持一致。产品经理则是最需要了解和清楚知道自己的...

32350
来自专栏DT数据侠

数据如何驱动业务优化?这有一份产品人必读知识清单

数据时代,判断一个互联网企业成功与否的标准之一,就是衡量它各个环节的运营是否形成了“数据飞轮”。那么对于一个互联网从业者来说,是否具有数据意识、是否能够用数据发...

16210
来自专栏人工智能头条

阿里智能对话交互实践及范式思考

14610
来自专栏PPV课数据科学社区

解析 :跻身数据科学领域的五条职业规划道路

原文链接:http://www.kdnuggets.com/2017/02/5-career-paths-data-science-big-data-expla...

17330
来自专栏大数据文摘

跻身数据科学领域的五条职业规划道路

16530
来自专栏华章科技

用户画像全解析 | 都在说用户画像,你真的了解透了吗?

在互联网逐渐步入大数据时代后,不可避免的给企业及消费者行为带来一系列改变与重塑。其中最大的变化莫过于,消费者的一切行为在企业面前似乎都将是“可视化”的。随着大数...

65250
来自专栏CDA数据分析师

【用户】以用户为中心的网站数据分析

以用户为中心的网站数据分析(User Centered Analysis)并不是一个全新的概念,国外很早就有以用户为中心的设计(User Centered De...

196100
来自专栏IT大咖说

微软:如何搭上人工智能这班车

20930
来自专栏企鹅号快讯

技术转产品经理:这是我对项目的一些思考

前言:产品是对综合能力要求很高的一个职位,只有不断的思考、不断的更新知识体系,对这个行业充满着未知的探索,才能保持一颗初心,打磨出一款出色的产品。 背景:毕业后...

48150

扫码关注云+社区

领取腾讯云代金券