数据资产梳理

数据资产梳理的主要步骤有哪些？

​一：确定目标与范围

明确梳理工作的目标，例如是为了数据管理、数据安全还是其他目的，同时界定涉及的数据范围，包括业务系统、部门等。

​二：资产识别

找出企业内各类数据资产，如数据库中的数据表、文件系统中的文件等。

​三：元数据采集

收集数据的定义、来源、格式等元数据信息。

​四：数据分类分级

按照一定标准对数据分类，如业务属性分类，再根据敏感程度等进行分级。

​五：数据血缘分析

追踪数据的来源与流向，明确数据的产生、转换、使用等关系。

​六：数据质量评估

检查数据的准确性、完整性、一致性等质量指标。

​七：资产清单编制

将梳理出的数据资产信息整理成清单，包括名称、类型、所有者等内容。

​八：审核与验证

对梳理结果进行审核，确保准确性和完整性。

如何进行有效的数据资产梳理？

一、规划阶段

​明确目标

• 确定是为了提升数据管理效率、保障数据安全，还是满足合规需求等，如为满足GDPR合规要求而梳理用户相关数据资产。

​界定范围

• 包括业务范围，如涵盖销售、财务等业务线；技术范围，如特定的数据库系统、文件存储系统等。

二、数据发现阶段

​工具辅助

• 利用数据发现工具，自动扫描企业内的数据存储库、文件服务器等，识别潜在的数据资产。

​人工排查

• 结合业务部门知识，人工查找可能被遗漏的数据资产，如部门内部临时存储的数据文件。

三、元数据管理阶段

​采集元数据

• 收集数据的名称、类型、大小、创建时间、修改时间等基本元数据，以及数据的业务含义、数据来源等语义元数据。

​元数据存储

• 将元数据存储在专门的元数据库中，方便查询和管理。

四、分类分级阶段

​制定分类分级标准

• 根据数据的业务属性（如客户数据、产品数据）、敏感程度（如高度敏感的客户隐私数据）、合规要求等因素制定标准。

​执行分类分级

• 按照标准对数据资产进行准确分类分级，例如将客户的身份证号码等数据分为高度敏感级。

五、数据血缘分析阶段

​追踪数据流转

• 确定数据的来源，如从哪些业务系统或外部数据源获取；数据的转换过程，如在ETL过程中的清洗、转换操作；数据的去向，如被哪些报表、应用使用。

​构建血缘关系图

• 以可视化的方式呈现数据的血缘关系，便于理解和管理。

六、数据质量评估阶段

​确定质量指标

• 如准确性（数据是否正确反映业务事实）、完整性（数据是否存在缺失值）、一致性（相同数据在不同数据源是否一致）等。

​质量检测与改进

• 运用数据质量检测工具和技术，对数据资产进行检测，针对发现的问题及时改进。

七、成果输出阶段

​编制资产清单

• 详细列出数据资产的各项信息，包括名称、分类、分级、元数据、血缘关系、质量状况等。

​建立数据资产目录

• 方便企业内部人员查询和使用数据资产信息。

数据资产梳理的目的是什么？

一、数据管理方面

​提升数据管理效率

• 清晰了解数据资产的情况，有助于数据管理者更好地组织和存储数据。例如，通过分类分级，可以将相似的数据放在一起，按照不同的管理策略进行维护，减少数据管理的混乱性。

​优化数据存储与架构

• 准确掌握数据资产的分布和关系，能够对数据存储架构进行优化。比如，发现某些数据存在大量冗余时，可以进行清理或整合，从而节省存储空间并提高数据访问速度。

二、数据安全方面

​保障数据安全

• 明确数据的敏感程度（通过分类分级），可以有针对性地制定安全策略。对于高度敏感的数据，如用户的财务信息、医疗记录等，可以采取更严格的访问控制、加密等措施，防止数据泄露。

​满足合规要求

• 在许多行业，如金融、医疗、电信等，都有严格的数据安全法规和合规要求。数据资产梳理有助于企业识别需要重点保护的数据，确保企业在数据处理方面符合相关法规，避免法律风险。

三、业务支持方面

​促进数据共享与协作

• 当企业内部不同部门清楚了解彼此的数据资产时，能够更好地进行数据共享和协作。例如，市场部门和研发部门可以共享客户数据，以便研发部门根据市场需求开发产品。

​支持数据分析与决策

• 数据资产梳理可以让数据分析师快速定位所需数据，提高数据分析的效率和质量。高质量的数据资产是做出准确决策的基础，通过梳理确保数据的准确性、完整性等质量指标，为企业决策提供可靠的数据支持。

四、企业发展方面

​挖掘数据价值

• 全面梳理数据资产有助于发现潜在的数据价值。例如，企业可能发现一些未被充分利用的数据，通过进一步挖掘和分析，可以将其转化为新的业务机会或创新的产品服务。

​提升企业竞争力

• 有效的数据资产管理，包括数据资产梳理，可以使企业在数据驱动的时代更具竞争力。能够更好地利用数据的企业，在市场竞争中往往能够更精准地把握市场趋势、满足客户需求，从而取得优势地位。

如何进行有效的数据资产梳理？

一、明确目标与规划

​确定目标

• 明确是为了数据治理、数据安全防护，还是提升数据价值等目的。例如，若为提升数据价值，就要重点关注有潜力创造更多业务收益的数据资产。

​制定计划

• 规划好梳理的流程、参与人员、时间节点等。比如，分阶段进行，先从核心业务系统的数据开始梳理。

二、数据发现与盘点

​技术手段

• 利用数据发现工具扫描数据库、文件系统等，找出所有数据资源。像一些自动化的数据扫描软件，可以快速定位数据存储位置和类型。

​人工排查

• 结合业务部门知识，排查可能被技术手段遗漏的数据，如部门内部临时文件等。

三、元数据管理

​采集元数据

• 收集数据的定义、来源、格式、创建时间等元数据信息。例如，对于数据库中的表，要记录表的字段含义、数据来源系统等。

​元数据存储与维护

• 将元数据存于专门的元数据库，并定期更新，确保元数据的准确性。

四、分类分级

​制定标准

• 根据数据业务属性（如客户数据、交易数据）、敏感程度（高度敏感、一般敏感等）制定分类分级标准。

​执行分类分级

• 按照标准对数据资产进行分类分级操作，如将涉及用户隐私的数据分为高敏感级。

五、数据血缘分析

​追踪数据流转

• 确定数据的来源、在系统中的转换过程（如ETL操作）以及数据的去向。

​构建血缘图

• 以可视化方式呈现数据血缘关系，便于理解数据的来龙去脉。

六、数据质量评估

​确定质量指标

• 设定准确性、完整性、一致性等质量指标。

​检测与改进

• 运用工具和技术检测数据质量，针对问题及时改进，如修复数据缺失值。

七、成果输出与应用

​编制资产清单

• 列出数据资产的详细信息，包括名称、分类、分级、元数据等。

​建立数据资产目录

• 方便企业内部查询和使用数据资产，同时将梳理成果应用于数据管理、决策支持等工作。

数据资产梳理的常见工具有哪些？

一、元数据管理工具

​Apache Atlas

• 功能
  • 它是一个开源的元数据管理和数据治理框架。能够自动捕获数据的元数据，包括数据的定义、来源、关系等。例如，在大数据环境中，它可以很好地对Hadoop生态系统中的数据进行元数据管理，支持对Hive表、Kafka主题等元数据的管理。
  • 提供元数据的可视化展示，方便用户直观地查看数据资产之间的关系，有助于数据血缘分析和数据目录的构建。

​Collibra

• 功能
  • 是一款商业化的元数据管理和数据治理软件。它提供了全面的元数据管理功能，涵盖数据发现、元数据采集、元数据质量管理等。
  • 支持多种数据源的元数据管理，包括传统的关系型数据库、数据仓库以及新兴的大数据源如Spark、NoSQL数据库等。可以对企业内不同部门、不同系统的数据资产进行集中管理，方便跨部门的数据协作和治理。

二、数据发现工具

​Dataedo

• 功能
  • 可以自动扫描企业的数据库，快速发现其中的表、视图、存储过程等数据库对象，识别数据资产。它能够对数据库中的数据结构进行分析，提取出诸如字段名称、数据类型、约束条件等元数据信息。
  • 提供直观的用户界面，方便用户浏览和理解数据资产的结构。同时，它还支持对数据资产进行简单的分类和标记，有助于初步的数据资产梳理工作。

​Unifi

• 功能
  • 能够发现企业内多种数据源的数据资产，包括数据库、文件系统、云存储等。它可以深入分析数据的内容和结构，识别数据中的模式和关系。
  • 具有数据探索功能，用户可以通过交互式的界面探索数据资产，了解数据的分布和特征，为进一步的数据资产梳理和分析提供基础。

三、数据治理平台（包含数据资产梳理功能）

​IBM InfoSphere Information Governance Catalog

• 功能
  • 作为IBM的数据治理平台的一部分，它提供了强大的数据资产梳理功能。可以对企业的各种数据资产进行编目，管理数据的元数据，包括数据的业务定义、数据质量规则等。
  • 支持数据分类分级管理，根据企业设定的规则对数据资产进行分类，如按照业务部门、数据敏感性等维度分类，并且可以对不同级别的数据设置不同的管理策略。

​Talend Data Governance

• 功能
  • 这是一款数据集成和数据治理平台。在数据资产梳理方面，它能够整合来自不同数据源的数据资产信息，提供数据资产的全面视图。
  • 可以对数据资产进行质量评估、元数据管理等操作，并且支持数据血缘分析，帮助用户理解数据的来源和流向，从而更好地梳理数据资产之间的关系。

数据资产梳理的常见误区有哪些？

一、目标不明确

​缺乏业务导向

• 只注重技术层面的数据盘点，如单纯统计数据库中有多少张表、文件系统中有多少文件，而没有从业务需求出发。例如，企业想要提升客户体验，但梳理工作没有围绕客户相关数据资产如何更好地支持这一目标进行。

​目标过于宽泛

• 设定的目标如“全面了解企业数据”，没有具体到通过梳理要解决什么实际问题，如提升数据质量、保障数据安全或者优化数据共享等，导致梳理工作缺乏重点。

二、范围界定错误

​遗漏重要数据源

• 只关注核心业务系统的数据，而忽略了边缘系统或临时数据存储中的数据。例如，企业可能只梳理了ERP系统中的数据，却遗漏了市场部门用于临时分析的Excel文件中的数据，这些数据可能对市场决策有重要价值。

​过度扩展范围

• 将与企业数据资产关联不大的外部数据或历史遗留但已无价值的数据纳入梳理范围，浪费大量的人力、物力和时间。比如，对多年前的、已被新的业务流程完全替代的项目文档数据进行详细梳理。

三、数据质量忽视

​只重分类分级

• 在数据资产梳理时，将重点放在数据的分类分级上，如确定哪些数据是敏感数据，而忽略了数据本身的质量，如数据的准确性、完整性和一致性。例如，将大量不准确的销售数据错误地归为高价值数据类别，而没有先对其进行质量提升。

​缺乏质量评估标准

• 没有建立明确的数据质量评估标准，导致无法准确判断数据资产的质量状况。例如，对于数据的完整性没有具体的量化标准，不能确定数据缺失到何种程度是不可接受的。

四、缺乏业务参与

​纯技术视角

• 由技术人员单独进行数据资产梳理，他们可能不理解数据的业务含义和价值。例如，技术人员可能只知道某个数据库字段的数据类型是字符串，但不清楚这个字段在企业业务中代表的是客户的姓名还是地址，从而影响对数据资产的准确梳理。

​业务部门不配合

• 业务部门认为数据资产梳理是技术部门的事情，不愿意提供业务知识和相关数据的使用情况等信息。例如，销售部门不向梳理团队说明销售数据在不同销售阶段的特殊含义和使用规则，导致梳理结果与实际业务需求脱节。

五、忽视数据血缘关系

​只关注数据现状

• 只对数据当前的状态进行梳理，如数据的存储位置、当前的格式等，而没有深入探究数据的来源和流转过程。例如，不知道某个报表数据是由哪些原始数据经过怎样的转换得到的，这在数据出现问题时难以追溯和解决。

​无法构建完整关系图

• 没有构建数据血缘关系图或者构建的关系图不完整，导致无法全面了解数据资产之间的相互关系。例如，在数据整合或数据迁移时，由于不清楚数据的血缘关系，可能会破坏数据的完整性或者导致数据关联错误。

数据资产梳理的质量如何保证？

一、明确目标与规划

​精准定位目标

• 确保梳理工作有清晰的业务目标，如提升数据质量以支持决策、保障数据安全等。例如，如果目标是提升数据质量用于精准营销，那么在梳理过程中就要重点关注客户数据的准确性、完整性等相关指标。

​合理规划流程

• 制定详细的梳理流程，包括各个阶段的工作内容、时间安排和责任人。比如，先进行数据发现，再进行分类分级，每个步骤都设定合理的时间期限和负责部门或人员。

二、数据发现与盘点环节

​全面技术探测

• 运用多种数据发现工具，对数据库、文件系统、云存储等多种数据源进行全面扫描。例如，使用开源的数据发现工具结合企业内部的大数据平台管理工具，确保不遗漏任何潜在的数据资产。

​深入人工排查

• 结合业务部门的实际工作情况，进行人工排查。因为有些数据可能是临时存储或者存在于部门内部的非标准存储位置。如业务部门可能在本地电脑保存了一些特殊业务数据，需要人工询问和查找。

三、元数据管理方面

​完整采集元数据

• 采集全面准确的元数据，包括数据的名称、类型、来源、创建时间、业务含义、数据所有者等信息。例如，对于数据库中的表，不仅要记录表结构和字段信息，还要明确表的创建目的和业务用途。

​严格元数据审核

• 建立元数据审核机制，定期对采集到的元数据进行审核。可以由数据管理员和业务专家共同参与，确保元数据的准确性和完整性。

四、分类分级环节

​科学制定标准

• 根据数据的业务属性、敏感程度、合规要求等因素，制定科学合理的分类分级标准。例如，对于金融企业，涉及客户资金的数据应划分为高度敏感级别，按照严格的分类分级标准进行操作。

​准确执行分类

• 按照既定标准准确地对数据资产进行分类分级，避免主观随意性。可以通过自动化工具辅助分类，同时结合人工审核来确保准确性。

五、数据血缘分析环节

​深度追踪关系

• 深入追踪数据的来源、转换过程和去向，构建完整的数据血缘关系图。例如，在数据仓库中，要清楚记录数据从源系统抽取、清洗、转换到最终加载的全过程。

​持续更新关系

• 随着业务的发展和系统的变化，及时更新数据血缘关系。如当业务流程调整，数据来源或处理方式发生变化时，要相应地修改数据血缘关系图。

六、数据质量评估环节

​确定评估指标

• 建立明确的数据质量评估指标，如准确性、完整性、一致性、时效性等。例如，对于销售数据，准确性可以通过与实际销售记录对比来衡量，完整性可以检查是否存在缺失的销售订单等情况。

​严格执行评估

• 按照评估指标对数据资产进行严格评估，发现问题及时整改。如发现数据存在准确性问题，要追溯数据来源，找出错误原因并进行修正。

七、人员与协作方面

​专业团队参与

• 组建包括数据专家、业务分析师、IT技术人员等在内的专业团队。数据专家负责技术层面的梳理，业务分析师确保数据与业务的紧密结合，IT技术人员提供技术支持。

​加强部门协作

• 加强不同部门之间的协作，尤其是业务部门和IT部门。业务部门提供数据的业务理解和需求，IT部门负责技术实现和数据处理，共同保证梳理工作的质量。

数据资产梳理的自动化程度如何提升？

一、采用自动化工具

​元数据管理工具

• 选择如Apache Atlas、Collibra等自动化元数据管理工具。这些工具能够自动发现数据源，采集元数据，包括数据的定义、来源、关系等。例如，Apache Atlas可以自动识别Hadoop生态系统中的数据资产元数据，减少人工干预。

​数据发现工具

• 利用Dataedo、Unifi等数据发现工具。它们可以自动扫描数据库、文件系统等多种数据存储，快速定位数据资产，自动提取如数据结构、数据类型等基本信息，大大提高数据发现的效率。

二、建立自动化流程

​数据采集流程自动化

• 编写脚本或利用工作流引擎，实现数据采集过程的自动化。例如，对于定期更新的数据资产，可以设置定时任务，自动从各个数据源采集元数据和数据样本，无需人工手动操作。

​分类分级自动化

• 根据预先设定的分类分级规则，开发自动化程序。例如，通过编写算法，根据数据字段名称、数据来源等特征，自动将数据分为不同的类别和级别，如将包含客户姓名、身份证号等字段的数据自动判定为高敏感数据。

三、数据血缘分析自动化

​自动追踪数据流转

• 利用ETL工具和数据治理平台的自动化功能，追踪数据在系统中的流转过程。例如，在ETL过程中，自动记录数据的抽取源、转换规则和加载目标，从而构建数据血缘关系图的部分内容。

​可视化自动生成

• 借助自动化工具，自动生成数据血缘关系的可视化图表。如一些数据治理平台可以根据数据血缘分析结果，自动生成直观的图形，展示数据的来源、转换和去向，减少人工绘制的工作量。

四、数据质量评估自动化

​设定自动评估规则

• 根据数据质量指标，如准确性、完整性、一致性等，编写自动化评估脚本。例如，对于数据的完整性，可以编写程序检查数据库表中的必填字段是否存在缺失值，自动给出评估结果。

​实时监控与反馈

• 建立自动化的数据质量监控系统，实时对数据资产进行质量评估，并及时反馈问题。如当数据质量指标低于设定阈值时，自动发送通知给相关人员，同时提供可能的问题解决方案建议。

五、与现有系统集成

​与企业数据仓库集成

• 将数据资产梳理自动化工具与企业现有的数据仓库集成。这样可以直接利用数据仓库中的数据结构和数据内容，进行元数据采集、分类分级等操作，避免数据的重复录入和不一致性。

​与业务系统对接

• 与企业的业务系统（如ERP、CRM等）进行对接，获取业务系统中的数据相关信息。例如，从CRM系统中获取客户数据的业务逻辑和使用规则，使数据资产梳理更加贴合企业实际业务需求，同时提高自动化程度。

数据资产梳理的关键指标有哪些？

一、数据基本情况指标

​数据量

• 衡量数据资产规模的重要指标，包括数据库中的记录数、文件系统中的文件数量和大小等。例如，一个大型电商企业的订单数据库可能包含数以亿计的订单记录，这反映了数据资产的总体规模。

​数据类型

• 如结构化数据（如关系型数据库中的表格数据）、半结构化数据（如XML、JSON文件）和非结构化数据（如图像、视频、文档等）。不同类型的数据在存储、处理和分析方面有不同的要求。

二、数据质量指标

​准确性

• 数据是否正确反映业务事实。例如，财务数据中的金额是否准确无误，客户信息中的姓名、地址是否正确。可以通过与业务标准或实际业务情况进行对比来衡量。

​完整性

• 数据是否存在缺失值。比如，在员工信息表中，员工的联系方式、入职日期等字段是否都有填写。可以通过计算缺失值的比例来评估数据完整性。

​一致性

• 相同数据在不同数据源或不同时间点是否保持一致。例如，同一产品在不同销售渠道中的价格是否相同，或者同一客户在不同系统中的基本信息是否一致。

三、数据价值指标

​业务相关性

• 数据与业务目标的关联程度。例如，对于销售业务，客户购买历史、偏好等数据与业务直接相关，而一些与办公设备维护相关的数据则相关性较低。可以通过业务部门对数据的评价和使用频率来衡量。

​数据时效性

• 数据的新鲜程度和有效性。例如，股票价格数据需要实时更新才有价值，而企业的年度财务报表数据时效性相对较弱。可以根据数据的更新频率和业务需求的时间窗口来评估。

四、数据安全指标

​敏感度

• 根据数据泄露可能造成的损害程度来判断数据的敏感程度。例如，客户的身份证号码、银行卡号等属于高度敏感数据，而企业内部的一般性通知文档则敏感度较低。可以通过数据分类分级来确定数据的敏感度。

​访问控制

• 衡量数据访问的权限管理情况。包括谁可以访问数据、以何种方式访问（读、写、修改等）以及访问的限制条件等。例如，只有经过授权的财务人员才能访问公司的财务报表数据。

五、数据管理指标

​元数据完整性

• 元数据是否全面准确地描述了数据资产。例如，元数据中是否包含了数据的来源、定义、关系等信息。可以通过对元数据进行审核和对比来评估其完整性。

​数据更新频率

• 数据更新的频繁程度。不同类型的数据可能有不同的更新要求，如新闻资讯类数据需要及时更新，而企业的组织架构数据更新相对较慢。

数据资产梳理的结果如何应用？

一、数据治理方面

​制定数据管理策略

• 根据数据资产梳理得到的数据类型、规模、敏感度等信息，制定相应的数据管理策略。例如，对于大量的结构化业务数据，制定数据存储优化策略；对于高度敏感的客户数据，制定严格的数据安全保护策略。

​数据质量管理

• 利用梳理结果中的数据质量指标（如准确性、完整性等），有针对性地开展数据质量提升工作。如果发现某类业务数据的准确性较低，可以追溯数据来源，改进数据采集或录入流程。

二、数据安全方面

​访问控制

• 依据数据资产梳理确定的敏感度和数据所有者等信息，设置合理的访问控制策略。高度敏感的数据只允许特定的人员或角色在严格的安全审计下进行访问，而一般性数据则可以根据业务需求设置相对宽松的访问权限。

​数据加密

• 对于梳理出的敏感数据资产，确定加密的范围和加密方式。例如，对存储在数据库中的客户密码等敏感信息采用不可逆的加密算法进行加密，确保数据在存储和传输过程中的安全性。

三、业务决策支持方面

​提供数据依据

• 梳理后的数据资产清单及详细信息为业务决策提供了丰富的数据依据。例如，企业在制定市场营销策略时，可以参考客户数据资产中的客户购买行为、偏好等信息，精准定位目标客户群体，制定更有效的营销方案。

​数据挖掘与分析

• 明确的数据资产情况有助于数据分析师进行数据挖掘和分析工作。他们可以快速定位所需的数据资源，提高分析效率，从而发现隐藏在数据中的商业价值，如发现新的市场趋势、客户细分等。

四、数据共享与协作方面

​促进内部数据共享

• 数据资产梳理清楚后，企业内部不同部门可以更好地了解彼此的数据资产情况，从而促进数据共享。例如，研发部门可以根据市场部门提供的客户需求数据优化产品设计，提高产品的市场竞争力。

​外部数据协作

• 在与外部合作伙伴进行数据协作时，梳理的结果可以帮助企业明确哪些数据可以共享、以何种方式共享以及共享的风险等。例如，在与供应商共享生产数据时，确保共享的数据不会泄露企业的核心机密。

五、合规方面

​满足法规要求

• 许多行业都有数据相关的法规和合规要求，如金融行业的巴塞尔协议、医疗行业的HIPAA法案等。数据资产梳理有助于企业识别需要满足合规要求的数据资产，确保企业在数据处理方面符合相关法规，避免法律风险。

​审计与监管

• 在接受内部审计或外部监管时，数据资产梳理的结果可以作为重要的依据。企业可以向审计人员或监管机构展示其对数据资产的管理情况，包括数据的分类、安全措施、数据质量等方面的情况。