数据仓库与数据库的区别及数仓的分层结构

数据仓库(OLAP)与数据库(OLTP)的区别

OLAP(数据仓库）：分析型处理，联机分析处理。

OLTP(数据库）：操作型处理，联机事务处理。

注意：数据仓库的出现不能取代数据库的存在。

区别：

OLAP：

A指的是分析

联机分析处理

面向分析指的就是数据仓库，例如Apache Hive Apche lmpala。

存储的是历史数据

数据仓库有意引入冗余，根据需求进行分析

OLTP：

T事务

联机事务处理

面向事务面向业务

指的就是关系型数据库（RDBMS）：Mysql Oracle nosql（注意不是非关系型数据库）：redis mongodb

存储的是业务数据

避免沉余

注意：数据仓库，是在数据库大量存在的情况下，为了进一步挖掘数据资源，为了决策需要而产生，它绝不是大型数据库，只是对数据进行清洗处理分析，不会对数据发生改变。

数仓的分层架构：

因为数据仓库本身不生产数据不消费数据按照数据的流入流出进行分层。

ODS：临时存储层，一般不用于直接开屏数据分析该层的数据来自各个不同数据源之间可能会存在差异。

DW：数据仓库层，也称之为细节层，其数据来自于ODS层经过ETL而来。当中的数据呈现这主题的特性，特性一般都是统一规则干净清晰的。

DA：数据应用层，最终消费使用数据，其数据来自于DW。

总结：

数仓分层的优势：

解耦合，分布式执行，降低出问题的风险。

用空间换时间，用多步换取最终使用的数据高效性。

如果觉得对你有所帮助。记得收藏和关注呦！（每日更新各种大数据框架）

如需转载请注明出处（创作不易请见谅）

和巨婴程序猿一起成长。让自己变得更优秀

想了解更多精彩内容，快来关注跟着巨婴去逆袭

我最近一直在思考（大数据通俗讲解）的问题，你的看法是什么呢？关注我快说出来一起交流一下吧~