首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

3w视角看大数据标准:what,why,how

伴随着大数据时代的到来,企业不断追求自身发展和创造数据价值,相继进行大数据平台的建设,在建设过程中难免会出现信息孤岛、数据定义不一致和数据的质量问题,数据标准建设就作为其中一个必不可少的环节,我们应该如何看待和进行大数据建设,首先需要从以下几个方面了解数据标准。

What——什么是数据标准

数据标准,顾名思义就是数据的标准,对分散在各系统中的数据提供一套统一的数据命名、数据定义、数据类型、赋值规则等的定义基准,让各业务人员和技术人员对于数据的理解是一致的,对业务系统的建设是规范统一的。

要了解数据标准,首先需要从以下几个方面出发:一是数据信息应用的合法合规;二是跨系统信息的集成和共享;三是数据服务的支撑和应用。如何全面的去看待这三个方面,以银行为例,业务数据的共享与交换为出发点和落脚点,整合机构内部各平台系统数据,支撑银行日常业务办理和银监会的监管报送管理,要实现这一目标,必须以标准化的信息归集为基础,实现金融数据共享,有效、合理的进行大数据技术与流程机制的创新应用。

数据标准既来自于国标和行标,也来自于技术和业务,标准和业务之间相互促进,相较于就业务谈业务的应用来说,将业务有机融入大数据标准架构,如数据、技术与信息化平台的功能等隶属于大数据产品或平台的标准内涵,可以进一步完善企业大数据标准建设。

Why——为什要进行数据标准建设

数据标准是数据全生命周期质量控制的机制与制度保障,贯穿了数据从采集到存储、治理和分析应用的全过程,只有需要建立一套完备的标准体系,数据标准化之后才能更好的管控数据的质量,支撑更高层面的数据应用。

1、消除数据的不一致性

在技术方面,数据标准可从源头对元数据进行管理,制定数据采集标准,帮助构建规范的物理数据模型,保证元数据的规范性和数据资源目录的完整性,同时对于多源异构数据的接入,数据接口规范可以保证的实时传输。在业务方面,数据标准能够明确各业务的数据含义,是的业务部门之间、业务和技术之间、统计指标之间统一认识与口径。

2、打破数据孤岛,实现数据共享

企业信息化建设一定是要走到集成阶段的,“信息孤岛”的问题必须要解决,也就是要尽量让数据变成标准的,标准数据在消除“信息孤岛”中起着决定性的作用,数据标准建设可以帮助企业从根本上消除数据孤岛,实现共享整合。对于一个拥有大量数据资产的企业,或者是要实现数据资产交易的企业而言,构建数据标准是一件必须要做的事情。

3、规范数据管理,提升数据质量

数据标准是数据质量规则建立的主要参考依据,通过将数据质量规则与数据标准关联,一方面可时间字段级的数据质量校验,另一方面也可以直接构建简单的较为通用的数据质量规则,确保规则的全面性和可用性,提升数据质量。

How——怎样进行数据标准建设

数据标准工作主要包括制定、执行、维护三个过程。其中制定过程包括规划、调研和设计,执行过程包括映射和执行。

在标准规划阶段,从实际情况出发,结合业界经验和参照行业最佳实践,确定数据标准范围,构建数据标准分类框架,制定实施计划;

在标准调研阶段,收集国家标准、现行标准、新系统需求标准、行业通行标准、现有的数据业务含义、数据标准分类、数据元定义以及数据项属性等,以及进行归纳整理;

在标准设计阶段,进行具体数据标准的编写定义工作,通过权威部门(数据标准管理部门)的评审,达成一致后发布数据标准,形成数标版本;

在实施映射阶段,将确认的数据标准与业务系统(新建系统或原有系统)进行映射,以得知标准与现状的关系,确定哪些系统需要强制落标和建议落标;

在标准执行阶段,针对实施映射阶段发现的问题进行修正,跟踪监督落地执行情况,综合评价数据标准落地实施成效,逐步提高数据质量,逐步使全部数据符合数据标准;当然随着时间的推移,数据标准也可能有变化和更新。数据标准管理部门需要及时进行数据标准更新和完善,使数据标准保持最新最优。

结语:只有充分理解数据标准以及建设数据标准的价值之后,结合企业自身发展情况建设符合企业内部的数据标准,避免数据先污染后治理,不断推动和完善企业的大数据平台建设,发挥数据的最大价值。当然,建设数标也少不了工具的支持,亿信华辰数据标准管理平台ESDataStandard你值得拥有,帮助建立规范的数据应用标准,消除数据的不一致性。

  • 发表于:
  • 原文链接https://kuaibao.qq.com/s/20200420A05B2C00?refer=cp_1026
  • 腾讯「腾讯云开发者社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。
  • 如有侵权,请联系 cloudcommunity@tencent.com 删除。

扫码

添加站长 进交流群

领取专属 10元无门槛券

私享最新 技术干货

扫码加入开发者社群
领券