数仓规划

最近更新时间:2025-04-29 09:36:32

我的收藏
数仓规划基于租户全局进行管理,主要目标是对数据按照业务分类主题进行分域管理,形成具有层级结构的业务标签。

应用场景

场景一:构建全局资产目录,分类管理企业数据。

步骤一:构建资产目录

通过可视化页面,快捷构建企业数据资产目录。


步骤二:盘点数据资产

通过构建好的资产目录,盘点业务数据,关联数据库表,实现数据的分类管理。


场景二:规范建表,前置资产盘点过程。

进入离线开发 > 数据管理,通过可视化页面,快捷创建数据表,并且配置资产目录与数仓分层。

完成建表后,即可直接查看数据资产,从而减少事后盘点工作量。


操作指南

资产目录

在数据管理和数据治理的背景下,"资产目录"(也称为数据资产目录)是一个用于组织、管理和查找数据资产的系统或工具。它提供了一个集中的平台,帮助企业了解其数据资产的存在、位置、结构和使用情况。
平台支持两种展示模式,列表模式和画布模式,具体如下:

列表模式



画布模式


1. 您可以通过单击节点,展示新建按钮,如图所示:
根节点点击示例
根节点点击示例

业务节点点击示例
业务节点点击示例

2. 进入添加节点界面,填写相关信息,完成后,单击确定

信息
详情
节点名称
必填,业务节点名称。

节点类型
支持业务分类,业务主题两类:
业务分类:是对数据资产的高层次组织,通常与企业的主要业务功能或部门对应。
目的:
提供数据资产的结构化视图,便于管理和检索。
反映企业的组织结构或业务流程。
支持数据治理和合规性要求。
示例:
财务管理
客户关系管理
供应链管理
人力资源管理
业务主题:是在业务分类基础上的进一步细分,聚焦于特定的业务领域或问题域。
目的:
提供对数据资产的详细视图,支持特定业务需求。
促进跨部门的数据共享和协作。
支持数据分析和业务决策。
示例:
在财务管理分类下的业务主题:预算管理、财务报表、税务合规。
在客户关系管理分类下的业务主题:客户反馈、市场营销活动、客户忠诚度。
英文标识
代表该业务节点的英文标识,可用于表名的命名规范约束
业务过程
通过下拉方式选择业务过程,支持多选。配置定义参见本文 业务过程 章节。
描述信息
填写对于该分类的业务描述或解释。
3. 您也可以通过右键点击可以支持更多操作:
添加:添加下游新节点。
编辑:编辑当前节点。
停用:停用当前节点,节点包含停用和启用状态。


业务过程

业务过程是指企业为实现特定业务目标而进行的一系列有序活动或任务。这些活动通常涉及多个部门或职能,并且需要使用、生成或修改数据。业务过程在数据资产目录中帮助识别数据的来源、流动和使用方式。
目的:
描述数据在企业运作中的具体应用场景。
帮助识别数据的生成、使用和存储位置。
支持业务流程优化和效率提升。
促进数据治理和合规性管理。
示例:
订单处理过程:从客户下单到订单确认、支付处理、库存更新、订单发货和客户通知。
招聘过程:从职位发布、简历筛选、面试安排、录用决策到入职培训。
产品开发过程:从市场调研、产品设计、原型开发、测试到产品发布。
业务过程列表展示:
编辑:编辑当前业务过程。
停用:停用当前业务过程,包含停用和启用状态。

进入业务过程界面,单击添加业务过程,在添加业务过程界面,完成填写相关信息后,单击确定
信息
详情
节点名称
必填,业务过程名称。
英文标识
必填,代表该业务过程的英文标识。
描述信息
填写对于该业务过程的描述或解释。


数仓分层

数据仓库(数仓)分层是指在数据仓库架构中,将数据按照不同的处理阶段和用途进行分层组织和存储的设计方法。这种分层结构有助于提高数据的管理效率、数据质量和数据分析的灵活性。以下是数据仓库分层常见的分层结构:
常见的分层结构
1. ODS(Operational Data Store,操作数据存储层):
存储从源系统抽取的原始数据,通常是实时或接近实时的数据。
用于短期的数据存储和简单的查询需求。
2. DWD(Data Warehouse Detail,明细数据层):
存储经过清洗和转换的详细数据。
保持数据的细粒度,支持详细的查询和分析。
3. DWS(Data Warehouse Summary,汇总数据层):
存储经过汇总和聚合的数据。
提供更高层次的视图,支持快速的查询和报表生成。
4. DM(Data Mart,数据集市层):
面向特定业务领域或部门的数据存储。
提供针对特定业务需求的优化数据视图,支持特定的分析和决策。
5. ADS(Application Data Store,应用数据层):
为特定应用程序或业务需求提供的数据视图。
通常是高度聚合和优化的数据,支持特定的应用程序需求。
列表信息展示:
编辑:编辑当前分层。
停用:停用当前分层,包含停用和启用状态。

在数仓规划界面,单击添加数仓分层,进入添加数仓分层界面,完成填写相关信息后,单击确定
信息
详情
分层名称
必填,数仓分层名称。
英文标识
必填,代表该分层的英文标识,可用于表名的命名规范约束
描述信息
填写对于该分层的描述或解释。