大数据之数仓概念

来源：掘金

DB、ODS、DW、DM概念区分：

这几天看了一些专业的解释，还是对ODS、DW和DM认识不够深刻，所以就查了相关的资料，分享给大家一起学习。

ODS：（Operating Data Store）：操作性数据仓库，最早的数据仓库模型。特点是数据模型采取了贴源设计，业务系统的数据结构是怎样的，ODS数据库的结构就是怎样的。所不同的是ODS数据库可以提供数据变化的历史，所以ODS数据库中每张表都会增加一个日期类型，表示数据的时间点，将每天数据的变化情况都存下来，这样有利于数据的分析。

DB：（DataBase）:数据库，一般指的就是OLTP数据库，在线事物数据库，用来支持生产的。DB保留的是数据信息的最新状态，只有一个状态！

DW：（Data Warehouse）：数据仓库，保存的是数据在不同时间点的状态，对同一个数据信息，保留不同时间点的状态，便于我们做统计分析。

DM：目前网上有两种说法，一说数据集市（Data Mart）;一说数据挖掘（Data Mining），百度百科给出的是数据挖掘的概念，我这里将这两种说法都做了解释：

• DM（Data Mart）：数据集市，以某个业务应用为出发点而建立的局部DW，DW只关心自己需要的数据，不会全盘考虑企业整体的数据架构和应用，每个应用有自己的DM。
• DM（Data Mining）：数据挖掘，又称为数据库中的知识发现(Knowledge Discovery in Database, KDD)，就是从大量数据中获取有效的、新颖的、潜在有用的、最终可理解的模式的非平凡过程，简单的说，数据挖掘就是从大量数据中提取或“挖掘”知识。

数据中心整体架构

数据仓库的整体架构，各个系统的元数据通过ETL同步到操作性数据仓库ODS，对ODS数据进行面向主题或建模形成DW（数据仓库），DM是针对某一个业务领域建立模型，具体用户（决策层）查看DM生成的报表。

OLTP和OLAP区别：

OLTP：（on-line transaction processing）：联机事务处理，OLTP是传统的关系型数据库的主要应用，主要是基本的、日常的事务处理，例如银行交易。

OLAP：（On-Line Analytical Processing）：联机分析处理，OLAP是数据仓库系统的主要应用，支持复杂的分析操作，侧重决策支持，并且提供直观易懂的查询结果。

BI：（Business Intelligence）：商业智能，领导，决策者，在获取了OLAP的统计信息，和DM得到的科学规律之后，对生产进行适当的调整，比如，命令超市人员将啤酒喝尿布放在一起销售，这就反作用于DB修改存货数据了——这就是整个BI的作用！

So，对于Data Warehouse和Data Mining时常混淆，不知如何分辨。其实，数据仓库是数据库技术的一个新主题，利用计算机系统帮助我们操作、计算和思考，让作业方式改变，决策方式也跟着改变。

若将DW（数据仓库）比作矿坑，DM就是深入矿坑采矿的工作。但是若没有足够丰富的数据，Data Mining也很难挖掘出有意义的信息。数据仓库本身是一个非常大的数据库，存储着由组织作业数据库中整合而来的数据，特别是指事务处理系统OLTP（On-Line Transactional Processing）所得来的数据。将这些整合过的数据置放于数据库中，而公司的决策者则利用这些数据作决策；但是，这个转换及整合数据的过程，是建立一个数据仓库最大的挑战。因为将作业中的数据转换成有用的的策略性信息是整个数据仓库的重点。

综上所述：数据仓库应先行建立完成，Data mining才能有效率的进行，因为数据仓库本身所含数据是干净(不会有错误的数据参杂其中)、完备，且经过整合的。因此两者关系或许可解读为Data Mining是从巨大数据仓库中找出有用信息的一种过程与技术。

ODS到DW怎么集成的呢？

将来自不同系统的有用的信息整合在一起。

OLAP会替代Data Mining吗？

我举个例子：一市场分析师在为超市规划货品架柜摆设时，可能会先假设婴儿尿布和婴儿奶粉会是常被一起购买的产品，接着便可利用OLAP的工具去验证此假设是否为真，看成立的证据有多明显；但Data Mining则不然，执行Data Mining的人将庞大的结帐数据整理后，并不需要假设或期待可能的结果，透过Mining技术可找出存在于数据中的潜在规则，于是我们可能得到例如尿布和啤酒常被同时购买的意料外之发现，这是OLAP所做不到的。

DM和DW又有什么关系呢？

数据仓库是企业级的，可以为整个企业各个部门的运行提供决策支持手段，而数据集市则是一种微型的数据仓库，它通常有更少的数据，更少的主题区域，更少的历史数据，是部门级别的，只能为某个局部范围的管理人员服务。