银行业金融机构完成监管数据质量的自查

在大数据的背景下，近期金融机构又面临具体的专项检查工作了，这次监管机构就要求银行业金融机构完成监管数据质量的自查，这个自查分为两个方面，一方面是对于监管数据质量的管控体系、治理体系的自查。第二个是对微观层面的，具体的监管报送、涉及数据的质量要做检查。完成自查报告并报监管后，监管机构会来现场抽查金融机构的数据情况，对于发现的数据问题要进行整改，到明年要做总结汇报。所以，最近很多金融机构就在讨论这个监管数据质量专项工作，以更好的应对监管要求。

监管检查，应从三个层面来考虑：

层面一：从数据治理层面，作为金融机构，要建立一套相对完善的企业级数据治理机制，它为高质量的监管数据质量提供基础保障、组织保障、人员保障。

层面二：从具体的监管统计报送内容层面，要有一套微观的，可执行的工作机制和流程以及详细的数据标准规范。

层面三：从技术实现层面，针对金融机构的各类信息系统要有具体的落标解决方案。

在大家非常关注的信息系统落标这个层面，可以从三个角度来看：

1、业务源系统。刚才前面讲到的，回归本源，也就是说在业务源系统端你

怎么去遵循标准规范，怎么去落地标准规范，怎么去保证业务系统的数据质量。

2、数据整合平台。对于企业级的大数据平台，数据仓库，数据集市和监管报送平台等，需要有什么样的手段机制来保证整合的数据是没问题的，报送的数据是高质量的。

3、数据管控平台。包括元数据管理、数据标准管理、数据质量管理的相关工具平台，金融机构如何应用这些平台工具支撑日常数据治理工作并保证数据质量。

工欲善其事，必先利其器。亿信数据质量管理平台（EsDataClean）提供从标准定义、质量监控、绩效评估、质量分析、质量报告、重大问题及时告警、流程整改发起、系统管理等数据质量管理全过程的功能。让企业能够一站式轻松搞定质检全过程，其内置质检规则已多达16种，灵活满足各种质检需求。以常见的几个质检维度来举例说明：

完整性（Completeness）

字段是否为空或NULL可使用空值检查，可以判断一个或多个字段是否非空。数据是否丢失可使用记录缺失检查，根据比照表字段检查目标字段是否缺少数据。

唯一性（Uniqueness）

检查数据是否唯一可使用重复数据检查。检查一张表内的重复数据，重复依据的定义不限于单一字段。若仅添加一个字段，将检查该字段内是否有重复数据；若添加了多个字段，将联合检查多个字段内是否有重复数据。

及时性（Timeliness）

检查数据填报是否在允许时间范围内可使用及时性检查。用来检查数据抽取、上报是否及时。

有效性（Validity）

检查数据是否符合其定义的语法（格式、类型、范围），场景包括不限于字段长度有效、字段内容有效、字段数据范围有效、枚举值个数有效、枚举值集合有效。这些场景下可使用值域检查、规范检查、波动检查、平衡性检查、离群值检查。

准确性（Accuracy）

数值同比波动监测、数值环比波动监测、表逻辑检查。可使用逻辑检查、值域检查、波动检查、平衡性检查。

一致性（Consistency）

检查数据项的多个数据是否一致，可使用引用完整性检查、数据集检查。

自定义（Customize）

支持用户自定义写质检规则，可使用SQL脚本检查、JAVA脚本、R脚本检查、Python脚本检查。

亿信数据质量管理平台（EsDataClean）从完整性、唯一性、及时性、有效性、准确性、一致性、自定义等几个维度对数据质量进行测量。通过图形化的界面，事先定义好的规则、调度时间、工作流程，自动完成数据的质量检查，极大的减少人力的投入和过程干预，提升效率，减少误差。对于数据质量的检测结果进行分析和量化，查找出现质量问题的数据链环节，定位数据问题，实行问责机制。

近年来越来越多的企业认识到了数据的重要性，数据仓库、大数据平台、数据中台的建设如雨后春笋。人们也越来越重视数据的管理和治理，而数据质量管理是数据治理的核心，因此，拥有一个优秀数据质量平台，能够改善整个企业的数据的一下问题，让它在协助我们企业在提升生产力方面、效能方面、合规管理方面等等之中发挥的重要作用。