本文作者:《财经》记者周源
从“2017大数据标准化论坛”上获悉,《数据能力成熟度评价模型》和《大数据技术参考模型》两项大数据重要标准已经进入报批阶段,即将为公众所用。
“大数据不仅仅是单纯的技术,在大数据时代,企业将从信息化(IT)组织向以数据为核心的组织(DT)去转变,这对企业提出许多全新的要求。”在中国电子标准化研究院信息中心副主任吴东亚说道。”
两项大数据重要标准进入报批阶段
近日,记者从“2017大数据标准化论坛”上获悉,《数据能力成熟度评价模型》和《大数据技术参考模型》两项大数据重要标准已经进入报批阶段,即将为公众所用。
两项标准都是为了帮助企业在向大数据时代转型时做好顶层设计,避免盲目行动。
《大数据技术参考模型》展示了一个通用的,由逻辑功能构建组成的大数据模型,能够让企业在建设大数据时做到“胸中有丘壑”,而且该模型独立于供应商、实现技术和基础设施。
《数据能力成熟度评价模型》将有助于准确评估企业大数据发展现状、指出存在问题和发展方向,培养大数据发展人才和规范,从而持续提升企业的数据管理能力。
据悉,《大数据开放共享》、《工业大数据》则是全国信标委大数据标准工作组下一批重点制定的标准。
下一步,企业应当如何建设大数据
从《数据能力成熟度评价模型》和《大数据技术参考模型》两项标准的简单介绍不难看出,目前国家大数据标准建设目前集中在顶层设计方面,而企业在使用和实施大数据时,除了有大数据标准顶层设计的指导,也需根据自身定制行之有效的大数据建设标准。
数据标准作为企业对数据进行定义的依据,是增强企业各部门对业务统一理解的手段,通过数据标准体系的建设,企业可以避免类似问题的出现。
企业数据标准制定的六个步骤
一般数据包标准包括制定、落地、维护等过程。其中制定过程包括规划、调研、设计;落地过程通过映射、标准执行等实现;维护过程保证了数据标准的持续更新。
1、首先,在标准制定过程中的第一个阶段,标准规划阶段,要根据业界经验和企业实际情况确定实施范围,并根据优先级和难易度制定计划。
例如,在金融行业,以金融行业十大主题为依据开展,通过业务了解,确定产品、客户、财务等几个主题是关键主题,其他主题业务关联性很弱;因此,确定实施范围,并根据紧迫度、资金等因此确定了实施计划,分多期建立。
2、接下来,在调研阶段,通过制定调查问卷、安排现场访谈、收集文档资料等手段,针对各个业务系统以及应用系统进行调研,了解跟标准相关的内容,包括现有定义、使用**惯、数据分布、数据流向、业务规则、服务部门等,形成调研报告,分析问题,并讨论解决方案。
实施过程中,如果多个部门不清楚项目意义和项目目标,首先需要对各部门做项目宣讲,让他们有充分了解。
然后,通过调研问卷方式进行初步了解沟通,同期开始大批量研究企业现有的文档了解业务和数据集。
最后,通过当面访谈深入了解信息,并讨论问题与解决方案。最终通过开评审会方式确定解决方案,并给出分析报告。
3、有了素材,接下来就是开始标准设计工作。
在这个阶段主要是在方法论指导下,完成数据标准设计和定义工作,包括数据业务描述定义(业务属性)、类型长度定义(技术属性)、其他标准信息定义。
设计出定义与分类、信息项、标准码等文档,并通过各部门的评审验证。最终达成一致,形成企业级标准。到此,标准制定工作完毕。
4、接下来主要是标准如何落地工作。把已定义的数据标准与业务系统、业务应用进行映射,标明标准和现状的关系以及可能影响到的应用。
标准落地一般通过两种方式:
1)新系统建设,直接参考数据标准;
2)旧系统通过标准映射,实现数据关系转换,以及指导后续数据平台建设。
5、做完数据标准映射,接下了就是标准落地执行。
这个过程一般需要借助专业的工具实现标准落地检查。标准执行一般有两个过程:
1)第一步分析出来现有问题,例如数据缺失、数据不一致等;
2)第二步修正,例如补录数据、修改系统、新建系统等。
通过这些措施,逐步规范数据建设过程,实现数据标准的落地。
6、数据标准也不是一成不变的,随着业务发展,有些标准需要不断的修订和完善。因此数据标准还有一个关键的管理环节,那就是需要能持续维护改进。
在数据标准维护阶段,需要有相应的需求收集、需求评审、变更评审、发布等多个步骤,并能对所有的修订做版本管理,以方便将来问题查找。
数据标准落地的几个关键
以上讲了数据标准管理的全过程,接下来我对数据标准落地的几个关键点做一个简单介绍。
第一条关键点:数据标准应该只管理核心数据定义
首先,标准不是模型,标准是可落地的核心元素。企业实际数据模型中有上万个字段,有些模型还会经常变换更新,如果把这些信息全部纳入到标准体系中,并且和数据标准建立映射,管理起来非常困难,很难真正实现落地。
因此要实现数据标准落地,不能一味追求大而全,更多的是应该关注在众多数据中挑选出的核心数据,只管理这些核心数据定义,依照核心数据建立标准,就可以实现企业数据治理的目标,还能提升数据治理的效率。、
其次,针对核心数据标准主题选择要多维度考虑。
数据标准只会关注跟业务关联度高的,能够促进业务的规范管理的数据。因此,数据标准制定,选择标准主题很重要。
第二条关键点:数据标准要包括技术与业务两种属性
1、数据标准主要是针对业务,企业很多业务的语义十分依赖业务人员的人工梳理,难度大效率低,很可能出现因为梳理人员没有及时梳理,而造成业务语义难以被及时发现和管理的问题。
未来企业将会面临数字化转型,从非结构化的文档中,将大部分业务语义抽取出来,并统一管理,成为未来的发展趋势,这种能力可以通过自然语言分析技术来实现,企业可以通过综合多个材料中对同一业务的描述,分析出最新与最广泛认可的业务定义,由业务人员确认之后,识别出业务语义,这样**减少了业务人员的工作量,提升了业务人员梳理业务语义的积极性。
2、在企业数据治理中,任何一个数据标准,如果没有对应的技术手段,都将难以落地,所以企业建立数据标准时,需要加入信息项的英文名称,来和实际数据库表中的字段相对应。
在数据标准中加入信息项的英文名称能给企业数据治理带来两方面的好处:
1)在做模型设计的时候,标准可以直接与模型设计工具集成,设计模型时就可以直接引用标准。
2)对已有系统,标准能够通过英文名称直接和应用系统的相关字段对应,自动发现与不符合标准的字段,并通过元数据直接通知给相应的系统。
3、标准中有了技术和业务信息,还需要有效的关联才能发挥效用。对于企业数据管理来说,技术能弄懂业务的前提是技术与业务之间要有对应,这种对应不能靠大量的人工梳理完成,否则业务部门负担很重,积极性不高。需要能够通过技术手段,利用数据治理工具提供商的行业实践积累,形成业务与技术的自动关联库,自动完成业务与技术对应,将能**减少业务人员的工作量,同时提升技术与业务关联的准确度,消除业务与技术之间的鸿沟。
第三条关键点:数据标准要持续更新
对于企业数据治理来说,有很多数据标准建立以后,往往只是一套书,没有根据企业业务发展及时做出更新,时间长了就成为了摆设,实际上,数据标准是需要随着企业的业务变化而不断进行修订的,比如在企业拓展新业务的时候,需要增加相应的标准进去,对于没有价值的标准,也要及时废弃。只有这样,才能保证数据标准一直能适应业务发展需要,促进标准落地。