本次更新继续分享企业数据治理的相关学习心得,知识点源自《DAMA数据管理知识体系指南》第8章内容,核心关于企业参考数据与主数据管理。
1
简介
在任何组织中,不同的群体、流程和系统需要相同的信息,早期流程中所创建的数据可为后续流程创建的数据提供关联环境。不同的群体会基于不同的目的来使用相同的数据,例如销售、财务和制造部门都关心产品销售数据,但每个部门会有不同的数据质量期望。为满足这些特定的需求,组织会建立某些特定的应用,每一个应用可能会以不同的格式存储相似但不完全一致的数据取值(例如描述物体长度采用不同单位等)。这些不一致对整体的数据质量有明显的负面影响
参考数据管理是对定义的数据值域进行控制,包括:
对标准化术语、代码值和其他唯一标识符以及每个取值的业务定义的控制
对数据值域列表内部和跨不同列表之间的业务关系控制
对准确、及时和相关参考数据值的一致、共享使用进行控制,以进行数据分类和目录整编
主数据管理是对主数据值进行控制,以实现跨系统的一致、共享、上下文相关地使用主数据,以及对核心业务实体的真实情况的最准确、及时和相关版本控制
参考数据和主数据管理规划是企业专门的数据质量改进规划,并且只有作为一项持续的数据质量改进计划才是最成功的
参考数据和主数据质量改进计划的成本和复杂性由发起计划的业务所决定,两种最常见的业务动因是:
跨数据源、应用和技术的条件下提升数据质量和整合度
对于重要的业务相关方、角色和产品提供综合的360度信息视图,特别是提供更有效的报表和分析
2
参考数据管理
参考数据是用于将其他数据进行分类或目录整编的数据(例如档案分类,保管期限等)。业务规则通常规定参考数据值是几个允许值之一,允许值的数据集即值域
参考数据几乎虚拟存在于整个组织的每一个数据库中,参考表通过外键与其他关系数据库表链接,而且数据库管理系统的参照完整性功能确保其他表中只能使用参考表中的有效值
有些参考数据集包括对代表同一事物多个代码值的交叉引用,不同的应用数据库可以使用不同的代码集来表示同一概念属性。主交叉引用数据集可以从一个代码转换成另一种代码
一些参考数据集还包括每个值得业务定义。定义标签本身并不能提供差异化信息。定义很少在报告或下拉列表中显示,但它们可能出现在应用的帮助功能中,指导在关联环境中规范合理地使用代码
一些参考数据集定义一种数据取值的分类法,在许多情况下分类型参考数据都很重要,尤其是对于内容分类、多方位的导航和商务智能
参考数据相关的元数据可能记录:
每个参考数据值域的意义和目的
出现参考数据的参考表和数据库
每个表中数据的来源
目前可用的版本
数据最后更新时间
如何维护每个表中的数据
谁负责数据和元数据质量
3
主数据管理
主数据是关于业务实体的数据,这些业务实体为业务提供关联环境
主数据取值通常不受限于预先定义的值域,业务规则通常规定了主数据格式和允许的取值范围:
当事人,如个人、组织、角色
产品,包括内部和外部的产品
财务结构,例如总账、成本中心、利润中心
位置,例如地址信息
主数据是关键业务实体的权威的、最准确的数据,被认为是“黄金”数据
主数据管理是一套涉及如何在整个企业内创建、整合、维护并使用主数据的流程:
从潜在的有冲突的数据中确定最准确的黄金数据
使用黄金数据代替其他不准确的数据
可通过ETL、数据清洗工具、作为主数据总线的操作型数据仓库,或专门的主数据应用系统来实施主数据管理,主数据的3个重点领域是:
识别数据源内及跨数据源的重复记录来建立和维护主数据的全局唯一标识ID,以及相互之间的交叉引用关系,使信息整合成为可能
跨数据源的整合,提供“黄金记录”或事实的最佳版本。这些整合的记录提供一个跨系统的信息合并视图,以寻找定位姓名和地址的不一致
通过直接读或数据复制,使OLTP(联机事务处理过程)和DW(数据仓库)/BI(商务智能)数据库能够跨应用系统访问“黄金”主数据
主数据管理需要企业了解以下问题:
被反复应用的重要的角色、组织、地点和事物有哪些?
描述同一个人、组织、地点或事物是哪些数据?
数据存储在哪里?数据源是什么?
哪些数据更准确?更可靠、可信的数据来源是哪些?最新的数据是哪些?
与特定需求有关的数据是哪些?这些需求怎么重叠或冲突?
哪些来自多个数据源的数据能够被整合以建立更完整的主数据视图。帮助企业更全面的了解人员、组织、位置或事物?
哪些业务规则可建立并用于准确地匹配和合并属于同一个人、组织、地方或事物的数据,从而提高主数据的质量改进的自动化程度?
如何识别和恢复被不恰当地匹配和合并的数据?
如何向跨企业的其他信息系统提供“黄金”主数据值?
如何确定何地、何时使用的不是“黄金”主数据?
当事人主数据
当事人主数据包括有关个人、组织及商业关系中扮演的角色的数据。在商业环境中当事人主数据可能包括客户、员工、厂商、合作伙伴和竞争对手的数据。客户关系管理系统能够实现客户数据的MDM(主数据管理)和其他业务功能,其他系统可能会完成针对个人、组织和其他角色的类似主数据功能,如人力资源管理系统(HRM)管理员工和工作申请人的主数据,供应商管理系统管理供应商主数据
小编说:
为什么说员工、部门主数据对一个公司数据集成非常重要?想象下公司的人力系统维护了“张三”的个人信息显示年方二八,然而工时系统同样也维护了“张三”个人信息却年龄却是27,如果我们要使用“张三”的年纪,是否会疑惑了该以哪一个数据为准呢?不同系统中生成的统计报表又是否会产生矛盾?相类似的如员工在不同系统ID标识冲突、部门和员工信息更新不及等问题不仅给企业层面的数据集成带来负面影响,而且增加了每个独立应用的维护成本。企业层面数据的“黄金”版本确实价值千金!
财务主数据
财务主数据包括有关业务单元、成本中心、利润中心、总账账户、预算、计划和项目的数据,通常ERP系统充当财务主数据中心(会计科目),项目的明细和交易在一个或多个应用模块中被创建和维护。这种结构在分布式后端办公职能的组织中比较普遍。
财务主数据管理解决方案的重点不仅是建立、维护和共享数据,而且还模拟现有财务数据的改变会如何影响例如预算和计划等组织基线。财务主数据模拟往往是商务智能报告、分析和规划模块的一部分,重点是层级管理。创建不同版本的财务结构模型以理解其潜在的财务影响。一旦做出决定,达成一致的结构变化能够分发给所有相关的系统。
产品主数据
产品主数据专注于一个企业的内部或整个行业(包括竞争对手)的产品或服务。它包括的有关信息可能有装配组件清单、零件/原材料的使用、版本、修补、价格、折扣条款、配套产品、手册、设计文件及图纸、配方和操作规程。产品主数据管理可能有专用或ERP应用来实施。
位置主数据
位置主数据提供跟踪和分享不同地理参考信息的能力,并以地理信息为基础建立层次关系和地域区划以支持其他流程。对于位置参考数据和位置主数据来说,参考数据和主数据之间的区别有些模糊:
位置参考通常包括地缘政治数据,如国家、省、市、镇、邮政编码、地理区域、销售区域等
位置主数据包括业务当事人的选址和位置,地理定位坐标,如维度、经度和高度
▼
领取专属 10元无门槛券
私享最新 技术干货