“数据质量”就是生命线

herain

发布于 2023-09-01 09:15:55

2580

发布于 2023-09-01 09:15:55

文章被收录于专栏：数据指象

背景

随着三网融合、移动互联网、云计算、物联网的快速发展，数据的生产者、生产环节都在急速攀升，随之快速产生的数据呈指数级增长。在信息和网络技术飞速发展的今天，越来越多的企业业务和社会活动实现了数字化。全球最大的零售商沃尔玛，每天通过分布在世界各地的6000多家商店向全球客户销售超过2.67亿件商品，每小时获得2.5PB的交易数据。而物联网下的传感数据也慢慢发展成了大数据的主要来源之一。有研究估计，2015年全球数据量为8ZB，而到2020年则高达35.2ZB，是2015年数据量的４４倍之多。此外，随着移动互联网、Web2.0技术和电子商务技术的飞速发展，大量的多媒体内容在指数增长的数据量中发挥着重要作用。

大数据的数据来源复杂、结构各异、质量参差不齐、数据规模大、存算过程长给数据质量管理带来挑战。

什么是数据质量管理？

数据质量管理是指对数据从产生、获取、存储、共享、维护、应用等各个阶段可能引发的各类数据质量问题，进行识别、度量、监控、预警等一系列管理活动，并通过改善和提高组织的管理水平使数据质量获得进一步提高。

数据质量管理的目的是什么？

解决企业内部数据使用过程中遇到的数据质量问题，提升数据的完整性、准确性和真实性，为企业的日常经营、精准营销、管理决策、风险管控等提供坚实、可靠的数据基础。

数据质量问题有哪些？

大数据时代下的数据信息系统更容易产生数据质量问题，直接影响到数据在流转环节中的各个方面，给数据存储处理分析性能、数据质量保障都带来了很大的挑战。

数据都存在一个生命周期，数据生命周期是指数据从创建、修改、使用到归档/销毁的整个过程。在数据的生命周期过程中影响数据质量的因素主要来源于四方面：信息因素、技术因素、流程因素和管理因素。

（1）信息因素：元数据描述及理解错误、数据度量的各种性质（如：数据源规格不统一）得不到保证和变化频度不恰当等。（2）技术因素：主要是指由于具体数据处理的各技术环节的异常造成的数据质量问题。数据质量问题的产生环节主要包括数据创建、数据获取、数据传输、数据装载、数据使用、数据维护等方面的内容。（3）流程因素：是指由于系统作业流程和人工操作流程设置不当造成的数据质量问题，主要来源于系统数据的创建流程、传递流程、装载流程、使用流程、维护流程和稽核流程等各环节。（4）管理因素：是指由于人员素质及管理机制方面的原因造成的数据质量问题。如人员培训、人员管理、培训或者奖惩措施不当导致的管理缺失或者管理缺陷。

数据质量管理的价值

建设一个完整的数据质量管理平台，对数据进行检核与统计，从制度、标准、监控、流程几个方面提升数据信息的管理能力，解决项目面临的数据标准问题、数据质量问题，为数据治理提供准确的数据信息。完成从发现数据问题到最后解决数据问题，不断提高数据质量，形成数据产生、数据交换、到数据应用过程中数据质量的统一管理与控制。

定义数据质量标准

常用的数据质量评价标准在上述内容提到过：数据唯一性、数据完整性、数据准确性、数据一致性、数据关联性、数据及时性等。

数据质量的影响

在Information Impact International公司的总裁Larry的书《改善数据仓库和企业信息的质量》中，他发现错误数据能够花费公司整个预算资金的10%-20%。在IT部，其修正错误数据的费用将达到预算的40%-50%。即使对于最小的公司而言，客户数据都会来源于多种系统。因此，在每一个数据点上知道“哪一种数据来源最可靠”是非常必要的。