凯哥讲数据中台：精益数据治理时代的来临

数据治理成为了企业数字化转型的关键

企业的数字化转型已经进入了数据驱动的时代，数据成为了所有企业的核心数据资产，这一点，曾经的戴明大师早就预测过了。

如何更好地利用数据，成为企业数字化转型的关键，所以，数据治理就变得越来越重要。

什么是数据治理

数据治理的定义

科学界最早提出数据治理的概念：

2006年Cohen定义数据治理为：一个企业管理数据的量、一致性、可用性、安全和易用性的流程。

”the process by which a company manages the quantity, consistency, usability, security and availability of data“

2009年Weber融合了IT治理的定义，将数据治理定义成一个指导决策确保企业的数据被正确使用的框架。

2010年，Khatri&Brown首次把数据当做企业资产加入到数据治理的定义中来。

在科学界以外，工业应用领域也有不同的对数据治理的定义：

IBM数据治理委员会给数据治理的定义为：是一组流程，用来改变组织行为，利用和保护企业数据，将其作为一种战略资产。

“the political process of changing organizational behavior to enhance and protect data as a strategic enterprise asset”.

Newman & Logan在2006年对于数据治理的定义是：

一组决策机制，流程，标准，制度和技术来管理，维护和利用企业的信息资源。

the collection of decision rights, processes, standards, policies and technologies required to manage, maintain and exploit information as an enterprise resource”.

数据治理的目的

在目前，行业里比较统一认知的是企业做数据治理的目的：

确保企业数据的质量，可用性，可集成性，安全性和易用性。

数据是公司的资产，组织必须从中获取业务价值，最大程度地降低风险并寻求方法进一步开发和利用数据，而这一切就是数据治理需要完成的工作，数据治理一般来说主要包括以下三部分工作：

• 定义数据资产的具体职责和决策权，应用角色分配决策需要执行的确切任务的决策和规范活动。
• 为数据管理实践制定企业范围的原则，标准，规则和策略。数据的一致性，可信性和准确性对于确保增值决策至关重要。
• 建立必要的流程，以提供对数据的连续监视和控制实践并帮助在不同组织职能部门之间执行与数据相关的决策，以及业务用户类别。

数据治理的驱动力

企业做数据治理的驱动力一般包括如下部分：

提升业务敏捷

通过建立一致的企业数据模型，统一的组织数据的展示和利用，从而让业务人员能够更快的获取用户及产品相关数据，获得最快的市场信息和洞察，从而能够提升业务对于市场的响应力，让业务更敏捷。

降低运营成本

众多案例证明，可以通过精简和自动化所有可能的数据降低运营成本。这些流程大部分都流经多个系统，组织的多个业务部门的数据库和应用程序，例如财务，人力资源资源，销售和市场营销等。提供统一而清晰的数据视图和拥有的信息可以帮助消除许多手动任务并解决几个冗余问题使成本和复杂性保持在较高水平

管理风险和合规

企业合规和风险管理很重要，尤其是受到严格监管的金融服务行业中，风险管理以及遵守外部法规和内部政策会引入其他要求数据使用的透明性以及基于这些数据的报告操作。通过定义所有必要的数据标准，政策和流程并形成具有明确角色和职责的框架，可控制这些策略应用的风险。

下图可以把数据治理的主要模块和内容都展示出来：

精益思想回顾

精益思想是1996年Womack总结丰田的经验形成的思想。

“LEAN is a systematic approach to identifying and eliminating waste (non-value added activities) through continuous improvement by flowing the product at the pull of the customer in pursuit of perfection.”

Lean Thinking, Womack and Jones,1996

精益思想已经是行业里广为传播的概念，本文就不做详细赘述了。

我们重点回顾一下精益的五个原则，我们会发现精益思想是数据治理挑战的应对之策。

精益思想的五个原则

Customer Value

客户价值是精益思想的第一个原则，一切活动和行为都必须能够为客户带来价值，所有不能产生客户价值的行为，成本，时间，工作都是浪费，都必须被消除掉。所以，识别和对齐客户价值是第一要务。

Value Stream

识别了客户价值之后，需要在原材料与产品之间构成价值链，将所有的行为，活动，投入都纳入这个价值链中来，并且识别和消除价值链中所有的浪费。在工业时代，这就是丰田通过标准化技术，把整个汽车制造的不同环节整合成一个生产流程的伟大创举。

Flow

消除了价值链中的浪费结点，需要通过技术手段和工具，让这个价值链自动的流动起来，尽量减少人为的干预，也就是工业时代丰田首创的自动化生产线的形成。

Pull

这就是精益的第四个原则，客户需求拉动，而不是产能推动。就像虽然自动化生产线形成了，但是要避免过度生产，实现JIT(Just In Time）也就是按需生产，避免库存积压，原材料消耗等浪费。

Perfection

持续改进这个自动化流程中的每一个结点，消除所有潜在的浪费，让它更加的高效和符合客户的需求。这就是精益思想的第五个原则，持续改进。

精益思想的核心：消除浪费

我们可以看到，这五个原则，都是围绕关注客户价值，消除浪费来的，在精益思想中，浪费的类型可以总结为以下几类：

而在企业利用数据的过程中，所有的问题都可以对应的上这几种浪费的类型，目前企业数据存在的多源、不一致、信息重复等问题，都是这7种浪费的不同的表现形式。

VUCA时代传统数据治理方法的挑战

企业数据管理面临的3D挑战

Decentralization/去中心化

• 数据的创建、存储、处理在多元化，形式广泛的各种系统、场景和设备上发生。
• 众多的数据已经不属于企业的系统和平台管理范围之内
• 对于企业有价值的数据越来越多的产生在外部，比如：开放平台，社交媒体，电商等
• 越来越多的组织数据被存储置于外部云平台之上

Democrastisation/民主化

• 数据必须能够被所有需要的人，按时，方便，易用的访问和获取
• 数据自服务将成为主流模式，用户自己能够获取，处理，利用数据。

Devolution/分权化

• IT部门对数据的产生和存储，利用的控制力越来越弱
• 企业必须面对因无法穷举所有的技术而带来的一定程度的混乱

传统数据治理方法的特点

传统数据治理方法，以数据为核心，目标是将企业的数据标准化，管理好。

所以，过去的数据治理项目都有以下特点：

• 从上至下

过去十年内的数据治理项目一般都是企业高层发起，目标都是为了建立企业级数据标准，从而保证各不同业务部门的数据的一致性，提升数据的利用价值，而这样的项目都会跨多个组织部门，都是从上至下的方法。

• 重标准和流程

传统的数据治理项目，主要工作都是梳理流程和标准，试图利用统一的标准和流程来约束和管理企业各业务部门数据的产生和使用。所以，一般数据治理的项目结束，都会产生一些新的组织，角色，标准和流程，让所有的业务系统，项目服从。

• 相对独立，不参与具体业务

传统的数据治理项目，一般都是独立的，级别比较高，直接汇报给企业信息化领导者。这也是正常的，因为只有赋予了数据治理组织以企业数据资产管理者的权利，才能够有可能让业务系统和流程遵循标准和流程，才有可能保证数据的一致性和质量。所以数据治理项目和团队不参与具体业务，相对独立。

• 主要交付文档和规范

以上这些背景基础上，传统数据治理项目结束后主要的交付件就是文档和规范。这些文档和规范，岗位职责，标准流程会通过数据治理委员会，数据管理员这样的角色落地到企业的每一个业务部门。

总的来讲，传统数据治理方法的核心是标准化，是规范化，是流程化，是希望让业务的数据在一个规定的框框里被产生、处理和利用。

传统数据治理项目的挑战

传统数据治理的愿景是好的，在过去业务相对稳定，静态的情况下，也是可以梳理出在一段时间内适用的企业级数据模型和标准的。

但是，当我们处在数字化时代，在业务部门不得不快速创新产品，优化流程的同时，本质上是在不断地产生新的数据，改变数据的结构和数据本身，这就和传统数据治理的核心背道而，一个是不断地创新变化数据本身，一个是希望数据标准规范。

传统的数据治理项目从调研，梳理，标准制定到培训，落地执行，整个范围广，周期长，响应速度慢，往往项目标准流程刚刚落地，业务又发生了变化。

所以，过去的数据治理项目从业务的视角看，很多时候都是大张旗鼓的开始，悄无声息的结束，最后产生的流程，制度，体系基本上很多流于形式，不了了之。

原因只有一个，业务发展才是硬道理，数据标准化，规范化在业务滚滚而来的车轮下都会让路。

但是，业务不断创新，新的应用，流程不断涌现的同时，数据的不一致，不协同带来的问题，也越来越突出，所以数据治理又会被提上日程，往往又再来一遍这样的形式，最终又以一种运动的形式结束。

所以传统的数据治理项目在高速变化的VUCA时代，面临着如下的主要挑战：

• 过程过于繁琐
• 响应速度慢
• 不直接产生业务价值

难道就没有更好的方法了么？

当我们回顾传统数据治理的问题的时候，我们会发现，以下的出发点可能是问题的根源：

• 希望构建完美的企业数据集

传统的数据治理方法都以消除数据不一致，构建一个完整的企业数据集为目标。但是，这是否是客观可行的呢？

凯哥认为，在业务高速发展创新的前提下，企业的数据本身就是业务在数字化世界的一个投影，业务在发展创新，数据本身也一定是在变化的，所以数据本身出现不一致是必然的结果。

• 试图构建企业级统一的数据标准

数据是业务在数字化世界的投影，而数据本身就是有业务领域属性的，比如同样的业务在财务、物资、客户服务等不同的维度，看上去的数据标准都是不一样的。

传统的数据治理方法，试图构建一个放之四海皆准的企业级统一的数据标准，而且规定的颗粒度非常细致，这并不是一个适用于所有场景的方法。

• 将数据治理和业务场景相割裂

传统的数据治理项目一般都是脱离于业务的存在，并且往往都凌驾于业务系统之上，告诉业务系统，我代表企业的高度，你要听我的。往往这种情况下，业务系统本身感觉不到你对他的价值，所以往往都敷衍了事，不告诉你真实的情况和需求，最终你的标准不能够真实的落地到每个业务系统，这也是情理之中的事情了。

• 对应用开发没有帮助

传统的数据治理，将“堵”作为核心手段，设置了一系列限制和约束，这对于应用开发的团队没有任何帮助，并且很难获得应用开发团队的认可和支持。

• 并不直接产生业务价值

最重要的一点，也是最难解决的一点，那就是传统的数据治理项目本身并不产生业务价值

但是数据治理本身又是那么的重要，就像Forbes所说，“数据治理不再是一个选项，是每个企业都必须关注和重视的战略。”

所以，我们需要一套新的方法来解决传统数据治理的这些问题，这个时候，我看到了精益的思想，我发现精益的五个原则和消除浪费的核心思想，能够很好的弥补和指导传统数据治理工作的弊端，我们就把它叫做，精益数据治理。

精益数据治理

传统的数据治理主要是以“管理和命令”为核心的方法，试图用一个的思想和标准来统一整个企业的数据利用。

我们倡导用精益的思想来指导企业级数据治理的工作，那就是“价值驱动，围绕场景，减少浪费，持续改进”。

精益数据治理的定义

精益数据治理目前尚未有一个标准的定义。

结合我们的实践，我用下面一段话来阐述对精益数据治理的理解。

精益数据治理的策略

• 为企业数据资产增值

数据治理的根本目标是梳理和优化企业的数据资产，为数据资产增值。

• 有清晰的业务目标

精益数据治理区别于传统数据治理方法的最重要的区别是，有清晰的业务目标，而不是为了治理数据而治理数据。

• 场景/应用驱动的数据治理

精益数据治理从本质上认同数据质量问题的存在，认同数据质量问题是由于业务的快速发展和系统建设之间的差距带来的，是客观存在的。而精益数据治理的目标就是在局部数据的基础上让数据为业务场景所用，产生业务价值，所以精益数据治理是场景/应用驱动的。

• 将数据治理融入到业务开发团队中

精益数据治理团队和传统数据治理团队很大的区别在于，精益数据治理团队与业务开发团队紧密协作，在业务开发中治理数据，为业务服务。

• 全面培训业务和开发人员

精益数据治理的目标是让数据治理成为一个日常的工作，而不是一种独立的运动和项目。这就需要全面培训业务和开发人员让他们成为数据治理的支持者和操作者，从而能够持续的推进数据治理。

• 在大目标下准许团队采用不同的方法

精益数据治理没有一个固定的方法，推荐以目标为导向，不局限于某一种方法，所以，精益数据治理准许不同的项目团队采用不同的方法因地制宜的达到治理的目标。

• 嵌入式合规风控

精益数据治理认为，合规风控要嵌入到业务当中，从而能让业务无感，不成为业务的阻力。

• 将数据治理团队的结构与企业结构保持一致 数据治理团队的结构需要适应企业的架构，所以要与企业的结构保持一致。

精益数据治理的实施方法

精益数据治理并不强调或固化一种或几种流程作为实施的模板，强调因地制宜，根据具体的场景和业务情况来采用不同的数据治理的方法或组件组合。

参考文献：

https://theses.liacs.nl/pdf/Anastasopoulos-Foivos-non-confidential.pdf

http://agiledata.org/essays/dataGovernance.html

欢迎转载，请注明出处

加入凯哥的知识星球

第一时间掌握最新的行业报告和思想洞察