『 懒人10分钟—大数据篇（二）』数仓设计与核心

数仓的建立需要结合业务进行维度设计，一个合理的开发流程又是什么？ —— 23号老板

0

1

概念

原创：lianxiaobao、穆晨—cnblogs

文章概览

|— 实时和准实时数据需求

|— 维度设计基础

|— 业务模型

|— 数仓的应用

|— 数仓核心组件、数据集市

|— 开发流程

接上一篇《数据建模是什么》。我们继续~

1、实时和准实时数据需求

为了满足实时数据分析的需求，我们需要建立实时数据仓库。

实时数仓的主要思想就是：在数据仓库中将保存的数据分为两类，一种为静态数据，一种为动态数据，静态数据满足用户的查询分析要求；而动态数据是为了适应实时性，数据源发声的更新可以立刻传回到数仓中的动态数据中，在经过相应的转换，满足实时的要求。

现在更多的实时分析说建立在ods上而不是数仓上，因为ods处理逻辑简单，数据链路相对较短，产出更快，根据数据刷新频率的不同可以分为三类ods：实时、准实时、传统

2、维度设计基础

维度是维度建模的基础和灵魂。维度建模中。将度量称为“事实”，将环境描述为“维度”，维度是用于分析实时所需啊哟的多样环境。维度和维度属性是维度的两个核心概念

多维数据模型提供了多角度多层次的分析应用，比如基于时间维、地域维等构建的销售星形模型、雪花模型，可以实现在各时间维度和地域维度的交叉查询，以及基于时间维和地域维的细分。所以多维数据模型的应用一般都是基于联机分析处理（Online Analytical Process, OLAP）的，而面向特定需求群体的数据集市也会基于多维数据模型进行构建。

3、业务模型

这里的业务模型指的是基于某些数据分析和决策支持而建立起来的数据模型，比如用户评价模型、关联推荐模型、RFM分析模型等，或者是决策支持的线性规划模型、库存模型等；同时，数据挖掘中前期数据的处理也可以在这里完成。

维度分析会很复杂很多考虑 ，下次在做详细分享~

0

2

数仓的应用

数仓的应用场景：

1、报表展示

报表几乎是每个数据仓库的必不可少的一类数据应用，将聚合数据和多维分析数据展示到报表，提供了最为简单和直观的数据。

2、即时查询

理论上数据仓库的所有数据（包括细节数据、聚合数据、多维数据和分析数据）都应该开放即时查询，即席查询提供了足够灵活的数据获取方式，用户可以根据自己的需要查询获取数据，并提供导出到Excel等外部文件的功能。

3、数据分析

数据分析大部分可以基于构建的业务模型展开，当然也可以使用聚合的数据进行趋势分析、比较分析、相关分析等，而多维数据模型提供了多维分析的数据基础；同时从细节数据中获取一些样本数据进行特定的分析也是较为常见的一种途径。

4、数据挖掘

数据挖掘用一些高级的算法可以让数据展现出各种令人惊讶的结果。数据挖掘可以基于数据仓库中已经构建起来的业务模型展开，但大多数时候数据挖掘会直接从细节数据上入手，而数据仓库为挖掘工具诸如SAS、SPSS等提供数据接口。

5、元数据管理

元数据（Meta Date），其实应该叫做解释性数据，或者数据字典，即数据的数据。主要记录数据仓库中模型的定义、各层级间的映射关系、监控数据仓库的数据状态及ETL的任务运行状态。一般会通过元数据资料库（Metadata Repository）来统一地存储和管理元数据，其主要目的是使数据仓库的设计、部署、操作和管理能达成协同和一致。

0

3

数仓核心组件

数据仓库的核心组件有四个：各源数据库，ETL，数据仓库，前端应用。

1. 业务系统

业务系统包含各种源数据库，这些源数据库既为业务系统提供数据支撑，同时也作为数据仓库的数据源(注：除了业务系统，数据仓库也可从其他外部数据源获取数据)；

2. ETL

ETL分别代表：提取extraction、转换transformation、加载load。其中提取过程表示操作型数据库搜集指定数据，转换过程表示将数据转化为指定格式并进行数据清洗保证数据质量，加载过程表示将转换过后满足指定格式的数据加载进数据仓库。数据仓库会周期不断地从源数据库提取清洗好了的数据，因此也被称为"目标系统"；

3. 前端应用

和操作型数据库一样，数据仓库通常提供具有直接访问数据仓库功能的前端应用，这些应用也被称为BI(商务智能)应用；

数据集市

数据集市可以理解为是一种"小型数据仓库"，它只包含单个主题，且关注范围也非全局。

数据集市可以分为两种，一种是独立数据集市(independent data mart)，这类数据集市有自己的源数据库和ETL架构；另一种是非独立数据集市(dependent data mart)，这种数据集市没有自己的源系统，它的数据来自数据仓库。当用户或者应用程序不需要/不必要/不允许用到整个数据仓库的数据时，非独立数据集市就可以简单为用户提供一个数据仓库的"子集"。

0

4

小结

数仓的开发流程：

在大数据时代，数据仓库的重要性更胜以往。Hadoop平台下的Hive，Spark平台下的Spark SQL都是各自生态圈内应用最热门的配套工具，而它们的本质就是开源分布式数据仓库。

在国内最优秀的互联网公司里(如阿里、腾讯)，很多数据引擎是架构在数据仓库之上的(如数据分析引擎、数据挖掘引擎、推荐引擎、可视化引擎等等)。不少员工认为，开发成本应更多集中在数据仓库层，不断加大数据建设的投入。因为一旦规范、标准、高性能的数据仓库建立好了，在之上进行数据分析、数据挖掘、跑推荐算法等都是轻松惬意的事情。反之如果业务数据没梳理好，各种脏乱数据会搞得人焦头烂额，苦不堪言。