对于你喜欢的事想去做的事,你必须付出百分之一千的努力你知道这一路可能会有很多困难,会有坚持不下去想要放弃的时候也有时候,你不一定会得到你想要的结果,但你—定要相信。
近几年,企业都在做数字化转型
。数字化转型是为了使组织更好地适应数字时代的变革,提高效率、降低成本、增强竞争力。是将业务和流程数字化,以实现更快、更准确、更可靠的数据处理和决策。是以数据驱动的精细化运营、业务创新增长和商业模式创新。
现在有一句话说数字转型,治理现行
因为数字化转型需要数据支持,而数据治理可以确保数据的质量和可靠性,从而支持数字化转型的实现。
在数字化和大数据背景下,数据治理将成为企业持续发展的关键要素。数字化转型依赖于企业的数据基础,但企业中数据管理和应用却面临着众多问题:
我司作为一个金融领域的公司,经历过一系列的数据挑战,这些挑战往往具有普遍性,但同时又和我们特定的业务环境和历史因素紧密相关。以下是我们面临的一些主要问题:
据知名咨询公司Gartner的调研显示,在实施数据治理的企业中,有近50%的企业数据治理并未取得理想的效果,有34%的企业数据治理处于良性建设阶段,仅有16%的企业数据治理效果显著,处于行业领先水平。
为什么在企业中数据治理这么难做呢?我总结了以下三点:
没有将数据治理的价值与业务的价值进行匹配,所以没办法在业务口,业务层体现出数据治理的价值,业务部门不知道为什么要做,不知道怎么做,也不知道做的目的是什么,而偏偏数据治理本身却要靠业务部门来配合来治理。
大多数公司都没有专业的数据治理人员,也从来没接触过数据治理,只了解这么一个概念,不知道怎么去开展这样一个工作。不贴合公司的实际状况来对症下药
数据治理工作量大,投入成本高,治理周期长。很多公司在开展数据治理以后,在短时间内看不到成效,就不再推动,甚至停滞。而随着数据的不断产生,数据质量则会越来越差。
所以数据治理说起来容易,做起来难,做好更难。
DAMA国际数据管理协会对数据治理的定义是:数据治理是对数据资产的管理活动行使权力和控制的活动集合(规划、监控和执行)。国际数据治理研究所(DGI)给出的定义是:“数据治理是一个通过一系列与信息相关的过程来实现决策权和职责分工的系统,这些过程按照达成共识的模型来执行,该模型描述了谁(Who)能根据什么信息,在什么时间(When)和情况(Where)下,用什么方法(How),采取什么行动(What)。”
数据治理 建设依据2018年3月15日,国家标准化管 理委员会在《数据管理能力成熟度评估模型》标准号:GB/T 36073-2018 中定义,应该从数据战略、数据治理、数据架构、数据标准、数据生命周期 、数据应用、数据质量、数据安全等八大方面进行评估。
数据战略是指企业或组织利用数据资源来实现其业务目标和优势竞争的规划和方法。一个有效的数据战略可以帮助企业在日益激烈的竞争环境中脱颖而出,提高决策效率,降低风险,提升客户满意度和盈利能力。数据战略通常包括以下几个关键要素:
数据治理是组织对数据进行的一种系统性管理和监督,以确保数据质量、一致性、可用性、安全性和合规性。数据治理的目标是使数据成为可信赖、可维护和可支持决策的重要资产。以下是一些数据治理的基本概念:
数据治理是数据战略的重要组成部分,对提高数据价值和降低数据风险具有关键作用。
数据架构是指组织内部数据的组织、存储和管理方式。它包括数据的结构、模型、流程和技术,以满足数据质量、性能和可扩展性等方面的需求。以下是一些数据架构的基本概念:
数据架构的主要目的是确保数据与业务需求的一致性,并提供高效、灵活、可扩展的数据管理能力。
数据标准是指对数据的定义、格式、度量、编码和质量等方面的规范和约定。数据标准旨在确保组织内部以及跨组织之间的数据具有一致性、互操作性和可比性,从而提高数据的价值和可用性。数据标准主要包括以下几个方面:
数据标准是数据治理的重要组成部分,对提高数据价值和降低数据风险具有关键作用。
数据安全是指保护数据不被未经授权的访问、使用、修改、泄露、破坏或丢失的过程。数据安全涵盖了数据的保密性、完整性和可用性三个方面。
为了确保数据安全,通常需要采取一系列措施,包括:
数据安全是保护数据不被未经授权的访问、使用、修改、泄露、破坏或丢失的过程。
数据质量是指数据的准确性、完整性、一致性、可靠性、及时性和适用性等方面的程度,也就是数据是否符合预期的标准和要求。数据质量的好坏直接影响到数据的分析、决策和应用结果的准确性和可信度。
数据质量通常可以从以下方面进行评估:
数据质量的问题可能来自于多个方面,例如数据采集、数据处理、数据存储、数据传输等环节都可能会引起数据质量问题。为了提高数据质量,需要采取一系列措施,例如:
数据应用是数据战略的核心目标和价值所在,是指基于数据和分析方法来解决实际问题、优化业务流程、支持决策和创造价值的过程。以下是一些与数据应用相关的概念:
数据生命周期是指数据从创建到最终处理的整个过程,包括数据的创建、存储、使用、维护和销毁等阶段。它有助于组织更好地管理其数据资产,提高数据的价值和可用性。通常,数据生命周期包括以下主要阶段:
为了方便大家理解,我用更简洁的话描述
数据战略:实现数据价值的方针
数据治理:数据管理的过程
数据架构:数据分类、组织和管理结构
数据标准:数据管理的规范和准则
数据安全:数据保护的过程
数据质量:数据的准确性和稳定性
数据应用:数据用于实现商业价值的过程
数据生命周期:数据从产生到消亡的过程
这是阿里的的数据治理管理架构,类似的这种规模较大的组织也都会会专门成立一个部门来做数据治理。因为这种大体量的单位,做一个非常小的一个优化或者改进,就会有一个非常明显的成效。对于我们中小型的公司,数据量没有那么大,数据部门人员也比较少,可以专门抽出来一个组或者指定几个人专门去做数据治理,并在各业务部门中安排一个人抽时间来对接。
上述概述的是数据治理的常见流程。在实践中,执行数据治理的企业普遍都会根据自身的特定环境和业务需求,采用类似的流程。然而,数据治理并非一成不变的公式,而是应当灵活应对各类不同的情况。具体操作时,每个企业都需要根据自己的实际需求、环境和目标,对这个流程进行适当的定制和调整。这样才能最大程度地利用数据治理提升业务效率和决策质量。
在我们公司,我们并没有机械地按照这个通用流程进行操作。相反,我选择了一种更具针对性、更符合我们公司具体需求的方式来进行数据治理。我依照公司的核心业务需求、业务环境、数据质量和完整性,以及公司的数据治理目标,对通用的数据治理流程进行了创新性的改进和优化。这样,我们公司的数据治理不仅有效地支持了我们的决策制定,而且提高了我们的业务效率,最终实现公司的发展目标。
数据治理的实施过程是一个系统化、结构化的流程,它包含了从提升业务领导对数据治理重要性的理解,到规范数据架构,最后达到提升数据质量和建立数据资产管理的步骤。在我们公司,这个过程的落地执行主要经历了以下五个步骤:
第一步数据治理启动会议:该会议是数据治理工作的开端,邀请了公司的各级领导以及业务部门主要负责人参加。我们在会议中提出了数据治理的重要性,解释了高质量、规范的数据对于金融决策软件的重要性。我们解释了数据治理是如何通过提升数据质量和规范性,帮助我们的决策软件提供更准确的预测和分析,从而提高客户满意度和公司业绩。此外,我们还介绍了如何实施数据治理,以便于得到领导和各部门的支持和参与。
接着,我们开始进行数据探查。鉴于公司过去的业务主要依赖外包,导致数据架构缺乏规范,我们启动了一个详细的数据探查过程。我们通过探查理解并梳理了公司的数据架构和业务流程,详细记录了每一个数据表和字段的信息,例如字段的名称,类型,长度,是否允许为空,以及它们在业务流程中的作用。这个过程的成果是一个详尽的数据字典,它将作为我们后续提升数据质量和规范性工作的基础。
在第三步中,我们开始着手提升数据质量。由于业务线的工作压力大,各部门的OKR和KPI执行都很紧张,因此,我们决定从业务源头开始提升数据质量。我们将通过一系列自动化工具,定期进行数据质量评估,检查数据的准确性,完整性,一致性和时效性。例如,我们将自动检查客户数据是否存在重复,是否存在格式错误,是否存在缺失等问题。如果发现问题,我们会找出问题的源头,找出问题的原因,并进行修复,从源头提升数据质量,以降低业务压力。
在第四步,我们开始制定一套详细的数据标准和规范。这包括了开发规范,上线规范和命名规范等。例如,字段命名规范要求使用英文单词或缩写,避免使用拼音或无意义的字符。我们规定了日期和时间类型的存储规则,使用 DATE、DATETIME 或 TIMESTAMP 类型来存储日期和时间信息。所有表都必须有一个主键(primary key),而且是一个自增的整数类型。我们还为每个字段添加了详细的注释,描述了字段的含义和用途。这些规范有助于保证数据的规范性,提升数据质量,从而保障数据的质量和一致性。
第五步,我们开始构建数据资产管理系统,以更好地管理和利用数据资源。该系统包括指标管理,标签管理,元数据管理,以及数据健康和安全管理。我们定义了一套标准的业务指标,并建立了一个系统来管理这些指标,从而使得业务部门可以方便地查询和使用这些指标,而不需要手动从各个数据源中提取和计算。我们建立了一个标签库,用于给数据打标签。这些标签可以帮助我们更好地分类和理解数据,也方便我们快速找到需要的数据。我们还建立了一个系统来管理元数据,即描述数据的数据,例如数据的来源,创建时间,更新频率等,以保证我们对数据有全面的了解。此外,我们还建立了一套系统来监控数据的健康状态,例如数据的质量,更新状态等,并设置了一系列安全策略和机制,以保护数据不被非法访问和篡改。
在这个过程中,我们构建了一个集成化、可视化的数据中台,这个中台可以自动执行大部分数据治理任务,大大提升了我们的工作效率。通过这个数据中台,我们不仅可以更好地管理我们的数据资源,也可以通过数据分析和可视化,帮助决策者更好地理解业务状态,提高决策质量。总的来说,我们的数据治理实施过程是一个系统化、结构化的流程。通过这个过程,我们不仅提升了数据的质量和规范性,也提高了数据的利用效率,保护了数据的安全,最大限度地提升了公司的决策质量和业务效率。这个过程不仅使得数据治理的过程更加高效,也使得我们的数据资源得到了更好的利用,最大限度地提升了公司的决策质量和业务效率。
在我们的数据治理实践中,我深深体会到数据治理不仅仅是一种工作,更是一种全新的思维方式,一种根植在企业每个角落的理念和文化。数据治理引导我们从数据源头出发,全方位、系统地进行管理和治理,目的是为了提高数据质量,发掘数据的价值,同时保障数据的安全。
我司在经历了一系列详细且具有针对性的数据治理工作后,取得了显著的成效。其中包括数据质量的显著提升,业务部门对数据部门及其提供数据的信任度大大提高。我们成功地构建了一个集成化和可视化的数据中台,这极大提高了数据治理的效率。此外,我们更高效地利用了数据资源,这不仅大幅提升了公司的决策质量,同时也优化了业务流程。
而实施数据治理的过程中,也带来了许多意想不到的收益。首先,通过数据治理,我们得以深入理解我们的数据,进一步洞察业务流程,这使我们更加清楚地发现业务的优点和不足。其次,借助于数据治理,我们更有效地运用数据,为业务提供更有深度的洞见和建议。最后,数据治理也助推了公司内部的数据文化建设,使得全公司员工都能理解并认识到数据的价值。
数据治理并不是一项简单的任务,它需要深远的投入,包括人力、财力和时间。然而,这样的投入绝对值得。我们正在经历一个数据快速发展的时代,"数据驱动决策"的商业文化正逐渐成为主流。在这个新文化中,数据已经不再仅仅是数字,它已经变成企业的生命线。通过良好的数据治理,我们能拥有准确、及时、全面的数据来支持决策,帮助我们避免错误决策,快速理解业务情况,以及发现新的商机。
数据治理并不是一蹴而就的过程,而是一种持续性的努力。在这个过程中,我们需要建立规范的数据治理架构,不断提升数据质量,建立全面的数据资产管理系统,同时也要保证数据的安全。尽管这个过程中可能会面临各种挑战,但我们不能因此而放弃。相反,我们应该更加珍视这个过程,因为这个过程能帮助我们发现并提升数据的价值,从而增强企业的核心竞争力。只有通过持续并深入的数据治理,我们才能最大化地利用我们的数据资源,提升我们的决策质量和业务效率,这是公司发展的重要支撑。
从另一个角度来看,你可以把数据治理想象成一座桥梁,它将公司的各个部门连接在一起,促进信息的流通和交流。当这座桥梁建立起来后,各个部门就能更好地协同工作,决策者能更准确地把握业务状况,员工也能更深刻地理解他们的工作对整个公司的价值。这就是数据治理的魅力,它能将公司的各个部分紧密联结,推动整个企业的持续发展。
尽管数据治理需要投入一定的资源和时间,但我相信随着数据的持续增长和发展,数据治理的重要性将会越来越被大家所认识。