数据仓库架构分层

数据仓库架构分层

数据仓库BI的常见体系架构如下图：

数据仓库在BI结构中是属于数据服务层，标准上也可以分为四层：ODS（临时存储层）、PDW（数据仓库层）、DM（数据集市层）和APP（应用层）。

ODS层：

PDW层：

DM层：

APP层：

ODS层分为增量更新或者全量更新；PDW层一致的、准确的、干净的数据，一般遵循数据库三范式设计；DM层和APP层是属于需要什么数据就拉取什么数据，报表展现，属于同一级别。

数据仓库在BI结构中各层次的位置如下图所示：

为什么数据仓库需要分层：

（1）用空间换时间，通过大量的预处理来提升应用系统的用户体验（效率），因此数据仓库会存在大量冗余的数据；

（2）如果不分层的话，如果源业务系统的业务规则发生变化将会影响整个数据清洗过程，工作量巨大；

（3）通过数据分层管理可以简化数据清洗的过程，因为把原来一步的工作分到了多个步骤去完成，相当于把一个复杂的工作拆成了多个简单的工作，把一个大的黑盒变成了一个白盒，每一层的处理逻辑都相对简单和容易理解，这样我们比较容易保证每一个步骤的正确性，当数据发生错误的时候，往往我们只需要局部调整某个步骤即可。