DAMA数据管理知识体系指南之数据管理和数据治理

简介：DAMA：国际数据管理协会，是一个全球性数据管理和业务专业志愿人士组成的非营利协会，是当前国际上在数据治理领域最权威的机构。DMBOK2则是DAMA组织众多数据管理领域的国际级资深专家编著，深入阐述数据管理各领域的完整知识体系。它是市场上唯一综合了数据管理方方面面的一部权威性著作。本篇文章，将针对DMBOK中的核心内容进行解读。

一、数据管理的原则

1、整体原则解读

上图已经基本表达了在数据管理过程中，所需要遵循的原则：

1. 数据管理需求是业务的需求。一切要从业务出发，并以最终满足业务作为验收条件。
2. 有效的数据管理需要领导层承担责任。数据管理经常涉及到组织上的变革，需要强有力的领导力来推动，来自高层的力量不可或缺。
3. 认识到数据有价值，也要认识到数据有成本，提高整体的ROI。
4. 数据管理依赖于不同的技能。数据管理需要整个组织分工协作，包括但不限于CDO、业务专家、分析师、DBA、数据建模专家等。
5. 数据管理是生命周期的管理。数据管理是对数据从规划开始，到最终应用/消亡整个链路的管理计划。

2、数据资产的价值

在一个具体的组织中，数据资产一般有以下作用作用：

• 组织依靠数据资产做出更高效的决定，并拥有更高的运营效率
• 组织依靠数据去理解客户，创造新的产品和服务
• 组织依靠数据通过削减成本和控制风险的手段来提高运营效率
• 同时数据是组织中的横向领域，有助于帮助组织跨垂直领域做出数据决策

从具体作用来看，数据价值包括创造的业务价值和潜在的成本两方面。

低质量数据的成本：

• 报废和返工
• 组织效率低下或生产力低下
• 组织冲突
• 工作满意度低
• 客户不满意
• 机会成本，比如无法创新
• 合规成本和罚款
• 声誉成本

高质量数据的作用:

• 改善客户体验
• 提高生产力
• 降低风险
• 快速响应商机
• 增加收入
• 洞察客户、产品、流程和商机，获得竞争优势

3、数据管理需要领导层承担责任

高效的数据管理需要领导力和承诺。需要认识到管理数据会带来独特的挑战，所以需要由CDO来领导数据管理计划。成功的数据管理必须由业务驱动，而不是由IT驱动。CDO不仅领导倡议，还必须领导文化变革，使组织能够对数据采取更有战略性的方法。

4、数据管理是数据生命周期管理

数据生命周期的关键活动如下图所示，具体每一步骤的操作和管理会在后续章节逐渐展开。

二、数据管理战略

1、数据管理战略

数据管理战略定义了企业需要什么数据、如何获取数据、如何管理数据并确保其可靠性、如何利用数据。数据管理战略由CDO拥有和维护，并由数据治理委员会支持的数据管理团队实施。

2、数据管理战略的组成

数据管理战略主要包括以下部分：

• 令人信服的数据管理愿景
• 数据管理的商业案例总结
• 指导原则、价值观和管理观点
• 数据管理的使命和长期目标
• 数据管理成功的检疫措施
• 符合SMART（具体、可衡量、可操作、现实、有时间限制的）原则的短期（12-24个月）数据管理目标
• 对数据管理角色和组织的描述，以及对其职责和决策权的总结
• 数据管理程序组件和初始化任务
• 具体明确范围的优先工作计划
• 一份包含项目和行动任务的实施路线图草案

3、数据管理战略规划的可交付成果

1）数据管理章程。包括总体愿景、业务案例、目标、指导原则、 成功衡量标准、关键成功因素、可识别的风险、运营模式等。

2）数据管理范围声明。包括规划目的和目标（通常为3年），以及 负责实现这些目标的角色、组织和领导。

3）数据管理实施路线图。确定特定计划、项目、任务分配和交付 里程碑。

三、数据管理框架

1、战略一致性模型

将企业的活动，按照战略/运营、业务/IT两个维度进行拆解，来介绍整个企业中的活动。

2、DMBOK框架

主要包括数据管理框架中的11个数据管理领域和7个环境因素

3、DMBOK金字塔

使用DMBOK知识领域来描述组织演化的情况。组织可以根据此框架定义一种演化路径，支持战略目标的实现。

比如下图推荐的组织数据管理的4个阶段：

阶段1：实现数据建模和设计、数据存储和操作、数据集成和互操作、数据安全管理

阶段2：实现数据架构、数据质量和原数据管理

阶段3、实现数据治理、数据仓库和BI、参考数据和主数据、文件和内容管理

阶段4、实现高级实践，如数据挖掘和大数据分析

4、DAMA数据管理框架的进化

四、数据治理语境关系图

1、数据管理和数据治理

在正式讲数据治理之前，先区分下数据管理和数据治理的区别。数据管理的整体驱动力是确保组织可以从其数据中获得价值，更多是总体战略的层面；数据治理聚焦于如何制定有关数据的决策，以及人员和流程在数据方面的行为方式，更多是细节执行层面。

2、数据治理整体介绍

数据治理是DMBOK中的核心内容，不仅在11个数据管理职能中，处于中心位置，并且在每一个单独的数据管理职能中，都有数据治理的部分。从而强调数据治理不是一个单独的流程，更是要融入到系统的设计和开发过程，贯彻系统建设的全过程，才能让数据治理更好的落地。

想要达到良好的数据治理效果，就要建立以数据为中心的组织：组织必须改变将战略转化为行动的方式。数据不再被作为是流程和业务产品的附属。业务处理的目标就是为了得到高质量的数据。有效数据管理成为企业致力于通过分析获得洞察、制定决策时的高优先级事项。

2.1、数据治理通用内容

数据治理的具体内容，一般都和组织的实际业务需求有关，但基本都会包含以下内容：

• 战略（Strategy）。定义、交流和驱动数据战略和数据治理战略的执行。
• 制度（Policy）。设置与数据、元数据管理、访问、使用、安全和质量有关的制度。
• 标准和质量（Standards and Quality）。设置和强化数据质量、数据架构标准。
• 监督（Oversight）。在质量、制度和数据管理的关键领域提供观察、审计和纠正等措施（通常称为管理职责Stewardship）。
• 合规（Compliance）。确保组织可以达到数据相关的监管合规性要求。
• 问题管理（Issue Management）。识别、定义、升级和处理问题，针对如下领域：数据安全、数据访问、数据质量、合规、数据所有权、制度、标准、术语或者数据治理程序等。

2.2、数据治理通用原则

每个组织都需要有自己的原则，但是那些寻求从其数据中获得更多价值的组织可能会分享以下内容：

• 数据应该作为企业资产管理起来。
• 应该在整个组织内鼓励数据管理的最佳实践。
• 企业数据战略必须与业务战略一致。
• 应不断改进数据管理流程。

2.3、数据治理主要活动

在大多数情况下，数据治理活动将集中于以下部分：

1）创建和管理核心元数据。它包括业务术语、有效数据值及其他关键元数据的定义和管理。通常管理专员负责整理的业务术语表，成为与数据相关的业务术语记录系统。

2）记录规则和标准。它包括业务规则、数据标准及数据质量规则的定义和记录。通常基于创建和使用数据的业务流程规范，来满足对高质量数据的期望。为确保在组织内部达成共识，由数据管理专员帮助制定规则并确保其得到连贯的应用。

3）管理数据质量问题。数据管理专员通常参与识别、解决与数据相关的问题，或者促进解决的过程。

五、业务驱动因素

1、减少风险

1）一般性风险管理。洞察风险数据对财务或商誉造成的影响，包括对法律和监管问题的响应。

2）数据安全。通过控制活动保护数据资产，包括可获得性、可用性、完整性、连续性、可审计和数据安全。

3）隐私。通过制度和合规性监控，控制私人信息、机密信息、个人身份信息（PII）等。

2、改进流程

1）法规遵从性。有效和持续地响应监管要求的能力。

2）数据质量提升。通过真实可信的数据提升业务绩效的能力。

3）元数据管理。建立业务术语表，用于定义和定位组织中的数据；确保组织中数量繁多的元数据被管理和应用。

4）项目开发效率。在系统生命周期（SDLC）中改进，以解决整个组织的数据管理问题。

5）供应商管理。控制数据处理的合同，包括云存储、外部数据采购、数据产品销售和外包数据运维。

六、目标和原则

1、目标

（1）可持续发展（Sustainable）

治理程序必须富有吸引力。它不是以一个项目作为终点，而是一个持续的过程。需要把它作为整个组织的责任。可持续的数据治理依靠于业务领导、发起者和所有者的支持。

（2）嵌入式（Embedded）

数据治理不是一个附加管理流程。数据治理活动需要融合软件开发方法、数据分析应用、主数据管理和风险管理。

（3）可度量（Measured）

数据治理做得好有积极的财务影响，但要证明这一影响，就需要了解起始过程并计划可度量的改进方案。

2、原则

（1）领导力和战略（Leadership and Strategy）

成功的数据治理始于远见卓识和坚定的领导。数据战略指导数据管理活动，同时由企业业务战略所驱动。

（2）业务驱动（Business-driven）

数据治理是一项业务管理计划，因此必须管理与数据相关的IT决策，就像管理与数据有关的业务活动一样。

（3）共担责任（Shared Responsibility）

在所有数据管理的知识领域中，业务数据管理专员和数据管理专业人员共担责任。

（4）多层面（Multi-layered）

数据治理活动发生在企业层面和各地基层，但通常发生在中间各层面。

（5）基于框架（Framework-based）

由于治理活动需进行跨组织职能的协调，因此对数据治理项目必须建立一个运营框架来定义各自职责和工作内容。

（6）原则导向（Principle-based）

指导原则是数据治理活动、特别是数据治理策略的基础。有时原则可以从具体策略通过逆向工程反推得到。然而最好把核心原则的阐述和最佳实践作为策略的一部分工作。

七、活动

八、实施指南

1、组织与文化

组织与文化整体都强调高层的支持和考虑执行时组织和个人因素

2、沟通与调整

随着治理的持续开展，以下关键内容需要不断进行更新，并及时与相关方进行同步：

1）业务战略/数据治理战略蓝图（Business / DG Strategy Map）。这些蓝图将数据治理活动与业务需求联系起来。定期衡量和沟通数据治理对业务的帮助，对于数据治理持续获得支持是至关重要的。

2）数据治理路线图（DG Road Map）。数据治理路线图应适应业务环境或优先级的变化进行调整。

3）数据治理的持续业务案例（Ongoing Business Case for DG）。数据治理的业务案例必须定期被调整，以反映组织不断变化的优先级和财务状况。

4）数据治理指标（DG Metrics）。随着数据治理规程的成熟，数据治理的相关指标也应随之逐渐增长和变化

九、度量指标

为应对长期学习曲线的阻力和挑战，对数据治理项目必须要有通过证明数据治理参与者如何增加业务价值和实现目标的指标来衡量进展和成功。数据治理指标的示例包括：

（1）价值

1）对业务目标的贡献。 2）风险的降低。 3）运营效率的提高。

（2）有效性

1）目标的实现。 2）扩展数据管理专员正在使用的相关工具。 3）沟通的有效性。 4）培训的有效性。 5）采纳变革的速度。

（3）可持续性

1）制度和流程的执行情况（即它们是否正常工作）。 2）标准和规程的遵从情况（即员工是否在必要时遵守指导和改变行为）。

十、关键概念/工具/方法

1、数据治理组织

数据治理可以从政治治理的角度来理解：它包括立法职能（定义策略、标准和企业架构）、司法职能（问题管理和升级）和执行职能（保护和服务、管理责任）。

下图描述了典型的数据治理组织模型：

其中，部分关键角色的职责如下：

有关更多关键角色（如CDO、数据管理专员）的具体职责。

2、运营框架

下面两张图介绍了数据治理过程中的典型运营框架，包括制度的制定和下发，数据治理日常工作，问题处理与上升等内容。

3、不同的治理运营模型

数据治理的组织模型主要有三种：集中式治理、分布式治理、联邦式治理。具体选择哪种组织模型，需要根据组织和业务的实际需求来确认。

4、数据治理的价值

对数据治理的价值评估，主要包括创造的价值，和节约的成本两部分，即常说的降本增效。其中成本不仅仅是直接的资源成本，还包括潜在的风险成本等。

1）替换成本（Replacement Cost）。在灾难性数据破坏事件或者数据中断时，数据替换或恢复的成本，包括组织内的交易、域、目录、文档和指标信息等。

2）市场价值（Market Value）。兼并或收购企业时作为企业资产的价值。

3）发现商机（Identified Opportunities）。通过交易数据或者通过售卖数据，从数据（商务智能）中发现商机获得的收入价值。

4）售卖数据（Selling Data）。一些组织为产品或销售将数据打包从数据中获得的洞察。

5）风险成本（Risk Cost）。它是基于潜在罚款、补救成本和诉讼费用的估价。来自法律或监管的风险包括： ①缺少必需的数据。 ②存在不应留存的数据（例如，在法律审计期间发现的意外数据；需要清除但尚未清除的数据）。 ③除上述成本外，包括数据不正确造成客户、公司财务和声誉受到损害。 ④风险下降或者风险成本的下降，其实是与提升和验证数据等操作干预成本的抵消之后的溢出部分。

为了描述信息资产价值的概念，可以将公认的会计准则转换为公认的信息原则用于辅助资产价值判断：