大数据必知必会系列——数仓分层架构及三层架构流程[新星计划]

文章目录

• 数据仓库典型分层结构：`3层结构【ODS层、DW层和DA层】
  • 数据分层的好处：
  • 京东的`数据仓库分层模式`，是根据标准的模型演化而来。

数据仓库典型分层结构：3层结构【ODS层、DW层和DA层】

• 1）、ODS层数据：原始数据，往往来源于业务系统产生的数据，比如RDBMS表数据、日志文件数据或爬虫获取数据及第三方购买的数据等
• 2）、DW层：数据仓库层，数据来源ODS成数据，整合拉宽和分析数据
• 3）、DA层：数据应用层，数据来源DW层数据分析处理，按照需要业务分析

有时，将业务数据中维度数据，单独放到一层：DIM层（维度层），存储都是维度表的数据。

主题指标开发，按照数据仓库分层结构进行存储数据，分为典型数仓三层架构：ODS 层、DW层和APP层，更加有效的数据组织和管理，使得数据体系更加有序。

数据分层的好处：

1.清晰数据结构,每一个数据分层都有它的作用域和职责,在使用表的时候能更方便的定位和理解 2.减少重复开发,规范数据分层,开发一些通用的中间层数据,能够减少极大的重复计算。 3.统一数据口径,通过数据分层,提供统一的数据出口,统一对外输出的数据口径。 4.复杂问题简单化,将一个复杂的任务分解成多个步骤完成,每一层解决特定的问题。

通用的数据分层设计：

• ODS：存放原始数据
• DW：存放数仓中间层数据
• APP：面向业务定制的应用数据

电商网站的数据体系设计，只关注用户访问日志这部分数据：

各层会用到的计算引擎和存储系统：

京东的数据仓库分层模式，是根据标准的模型演化而来。

数据仓库分层：

BDM：缓冲数据，源数据的直接映像，缓冲：Buffer
FDM：基础数据层，数据拉链处理、分区处理，基础：Foundation
GDM：通用聚合，通用：Generic
ADM：高度聚合，聚合：Aggregation，应用层：Application