微信图片_20190520110434.jpg 很长一段时间，BI和数据仓库几乎都是如影随形、难舍难分。 企业如果想要实行“数据驱动决策-决策推动业务发展”的机制，就必须先有数据仓库充当中央存储库，供BI查询和调取，然后再在BI上进行数据的分析与可视化。 但数据分析和商业决策发展至今，企业想要实现数据驱动决策，是否还是无法绕过数据仓库？在现代商业环境中重新定义BI和数据仓库，我们又能不能找到合适的替代方案？ BI（商业智能）：BI是分析数据并获取洞察力、从而帮助企业做出决策的一系列方法、技术和软件。相比数据仓库，BI中还包含了数据挖掘，数据可视化，多维分析，标签分类等方面。 1.gif 传统BI项目的构建路径决定了其必须依赖数据仓库才能进行数据分析。
大家都知道，企业要做数据分析，商业智能BI和数据仓库二者缺一不可。许多人在疑惑，我的数据仓库还没有建立起来，怎么做商业智能BI呢？真得在做商业智能BI之前先建数据仓库吗？ 无论哪一种BI项目，都需要从各级管理者的决策性思维出发，建立分主题的数据模型，从而形成数据仓库，无论其存在形式如何，数据仓库的分析思路必然贯穿于整个项目，并涵盖各个层级的发展战略和业务表单。 商业智能BI的逻辑 商业智能(Business Intelligence)是一种对商业信息进行收集、管理和分析的过程，它通常包括数据库技术、数据仓库(或数据场)、联机分析处理(OLAP)等几个方面，其实现涉及可视化 商业智能BI不是简单的报表和漂亮的图形，它主要考虑的是模型交付能力和工具软件的开放性。面对海量数据，提高信息的利用率，快速、准确地找到所需信息，做出正确的决策，是商业智能BI发展的驱动力。 由此不难看出，任何BI项目，都需要从各级管理者的决策性思维出发，建立分主题的数据模型，从而形成数据仓库，无论其存在形式如何，分析思想都必须贯穿于整个项目，并涵盖各个层次的发展战略和业务表单，随时纳入外部数据
精美礼品等你拿！
商业智能 BI、数据仓库 DW、数据挖掘 DM 商业智能BI(Business Intelligence) 。相比于数据仓库、数据挖掘，它是一个更大的概念。 商业智能可以说是基于数据仓库，经过了数据挖掘后，得到了商业价值的过程。所以说数据仓库是个金矿，数据挖掘是炼金术，而商业报告则是黄金。 ? 数据仓库DW(Data Warehouse) 。 它可以说是 BI 这个房子的地基，搭建好 DW 这个地基之后，才能进行分析使用，最后产生价值。数据仓库可以说是数据库的升级概念. 和数据库并无明显差别都是通过数据库技术来存储数据的。 在商业智能 BI 中经常会使用到数据挖掘技术。数据挖掘的核心包括分类、聚类、预测、关联分析等任务，通过这些炼金术，我们可以从数据仓库中得到宝藏，比如商业报告。 ? 比如数据仓库中有数据和数据之间的各种复杂关系，为了描述这些关系，元数据可以对数据仓库的数据进行定义，刻画数据的抽取和转换规则，存储与数据仓库主题有关的各种信息。
和数据仓库有什么区别？ 其实是这样的：数据仓库，是把企业所有数据都搞到一起存好，一般只能由 IT 搞的。而数据集市，是一个低调的称呼。这样比较给面子，数据集市大到一定程度，和数据仓库本质一样。 所以，要低调的，这样就是在数据仓库的基础上，架设一个由业务人可以控制的数据集市。 那数据集市可以放多少数据呢？可以放多达 TB 级别。 那数据集市有什么好处呢？ 与其他类似东西的区别，包括：DataFlow，DataSet，数据库，数据仓库，Power BI 有啥区别呢？ DataFlow 是一个管子，定义了数据应该怎么走，管子可以套管子。 归从属的 Power BI 用户所有，一人一文件一个。 数据库是一种技术称呼，任何一片水都是数据库，从小池塘到胡泊到海洋都是数据库。 数据仓库是企业建立的统一的水库。 数据集市，是从数据仓库或数据库或任何小水塘子把水聚集到一个大池子里，是小区的公共游泳池。归小区物业管。以后谁要来里面游泳或接水，可以交物业费或免费，随你说了算。
首先说说数据仓库系统构建过程中一些主要的环节： 1. 数据收集 2. ETL 3. 报表系统的开发 4. 基础技术环境的构建、维护 5. 算法、数据挖掘 6. ETL，将收集过来的数据进行清洗、转换，在此过程中形成数据仓库的层次化结构。 这个环节需要一个根据具体的业务需要，通过ETL过程形成数据仓库的层次化体系结构以及抽象概念系统，以便于后续的报表开发和数据分析、数据挖掘。 3. 报表系统开发。
Preface：本文将会讲述 BI/DW/DA 领域的一些常见概念，如：事实表、维度表、建模、多维分析、cube 等，但不涉及具体实例分析。 数据仓库是企业惟一、真实、可靠的综合数据平台。 ，进行转换、清洗，并最终加载到目标数据仓库中。 数据仓库的物理模型较常见的操作型数据库的物理模型有很大不同。 而且为了更好的跟踪历史信息，以及更快的产生报表，数据仓库的物理模型中存在着大量冗余字段。 数据仓库的物理模型分为星型和雪花型两种。
本文经授权转自：数据工匠俱乐部（id：zgsjgjjlb） 前言 随着大数据技术的不断更新和迭代，数据管理工具得到了飞速的发展，相关概念如雨后春笋一般应运而生，如从最初决策支持系统(DSS)到商业智能(BI 一 数据仓库 数据仓库平台逐步从BI报表为主到分析为主、到预测为主、再到操作智能为目标。 ? 图1.数据仓库发展阶段划分 商务智能（BI，Business Intelligence）是一种以提供决策分析性的运营数据为目的而建立的信息系统。 在前10年，BI报表项目比较多，是数据仓库项目的前期预热项目（主要分析为主的阶段，是数据仓库的初级阶段），制作一些可视化报表展现给管理者。 图6.数据仓库产品构成 二 数据湖 数据湖(Data Lake)是Pentaho的CTO James Dixon提出来的(Pentaho作为一家BI公司在理念上是挺先进的)，是一种数据存储理念——即在系统或存储库中以自然格式存储数据的方法
前言 随着大数据技术的不断更新和迭代，数据管理工具得到了飞速的发展，相关概念如雨后春笋一般应运而生，如从最初决策支持系统(DSS)到商业智能(BI)、数据仓库、数据湖、数据中台等，这些概念特别容易混淆 一 数据仓库 数据仓库平台逐步从BI报表为主到分析为主、到预测为主、再到操作智能为目标。 ? 图1.数据仓库发展阶段划分 商务智能（BI，Business Intelligence）是一种以提供决策分析性的运营数据为目的而建立的信息系统。 在前10年，BI报表项目比较多，是数据仓库项目的前期预热项目（主要分析为主的阶段，是数据仓库的初级阶段），制作一些可视化报表展现给管理者。 图6.数据仓库产品构成 二 数据湖 数据湖(Data Lake)是Pentaho的CTO James Dixon提出来的(Pentaho作为一家BI公司在理念上是挺先进的)，是一种数据存储理念——即在系统或存储库中以自然格式存储数据的方法
BI进入国内已经有一些年头了，国内外IT巨头都纷纷抢滩这个领域，一些中小软件企业也涉足其中。零售、制造业、快消品、航空、金融、电信等行业都成为BI实施的重要领地。 但是，说句不客气的话，大部分BI项目都是失败的，至少是问题重重，根本达不到客户的要求，数据质量、系统性能是首当其冲的主要问题。 从业人员中，50%以上都严重不合格，做出来的东西质量也就可想而知。 然后是数据加载到数据仓库/数据集市，在加载前，代理键的分配，迟到维度信息的处理，早到事实数据的处理，这些都考验设计者的智慧和经验。 好了，数据终于装载到数据仓库了，下面要做什么呢？大家都知道要做剧集。 但是，可能的查询成千上万，你聚集哪些？ 2、数据仓库建模 大部分建模师也都知道维度建模、去范式设计，大的方面基本上都知道。
~这就是关于数据仓库最贴切的定义了。事实上数据仓库不应让传统关系数据库来实现，因为关系数据库最少也要求满足第1范式，而数据仓库里的关系表可以不满足第1范式。 有了这些数据快照以后，用户便可将其汇总，生成各历史阶段的数据分析报告； 数据仓库组件 数据仓库的核心组件有四个：各源数据库，ETL，数据仓库，前端应用。如下图所示： ? 1. 前端应用 和操作型数据库一样，数据仓库通常提供具有直接访问数据仓库功能的前端应用，这些应用也被称为BI(商务智能)应用； 数据集市(data mart) 数据集市可以理解为是一种"小型数据仓库"，它只包含单个主题 当用户或者应用程序不需要/不必要不允许用到整个数据仓库的数据时，非独立数据集市就可以简单为用户提供一个数据仓库的"子集"。 数据仓库开发流程 在数据库系列的第五篇 中，曾详细分析了数据库系统的开发流程。数据仓库的开发流程和数据库的比较相似，因此本文仅就其中区别进行分析。 下图为数据仓库的开发流程： ?
*了解数据仓库相关技术 *了解数据仓库设计过程建造，运行及维护 *了解OLAP及多维数据模型 决策支持系统及其演化 一般将数据分为：分析型数据与操作型数据 操作型数据：由企业的基本业务系统产生的数据 数据仓库的特性：面向主题性，集成性，不可更新和时间性。 集成：数据仓库最重要的特性，分为数据抽取转换，清理（过滤）和装载 不可更新：数据仓库中的数据以批量方式处理，不进行一般主义上的数据更新。 数据仓库的体系结构与环境 从数据层次角度的体系结构来看，典型的数据仓库的数据体系结构包括：操作型数据、操作型 数据存储、数据仓库、数据集市和个体层数据 从功能结构看，可分为数据处理、数据管理和数据应用三个层次 数据仓库的数据组织< 粒度、数据分割（分区）、元数据> 数据仓库的数据单位中保存数据的细化程度或综合程度的级别。 细化程度越高，粒度越小 粒度影响到数据仓库的数据量及系统能回答的查询的类型 进行数据仓库的数据组织时，应根据当前应用的需求进行多粒度级设计。满足多角度，多层次数据查询要求。
数据仓库是现代数据堆栈的基础，所以当我们看到 Convoy 数据负责人 Chad Sanderson 在 LinkedIn 上宣称“数据仓库坏了”时，它引起了我们的注意。 不可变数据仓库如何结合规模和可用性 乍得桑德森的观点 现代数据堆栈有许多排列，但数据仓库是一个基础组件。 另一种方法：引入不可变数据仓库 不可变数据仓库概念（也称为活动 ETL）认为，仓库应该是通过数据来表示现实世界，而不是乱七八糟的随机查询、损坏的管道和重复信息。 这一层是 BI 工程师将工程中的内容与数据消费者需要的内容相匹配的地方，可以自动化生成 Kimball 数据集市。 不可变数据仓库也面临挑战。以下是一些可能的解决方案。 我并不认为不可变数据仓库是灵丹妙药。与任何方法一样，它也有其优点和缺点，而且肯定不是每个组织都适用。 与数据网格和其他崇高的数据架构计划一样，不可变数据仓库是一种理想状态，很少成为现实。
前言 数据仓库建模包含了几种数据建模技术，除了之前在数据库系列中介绍过的ER建模和关系建模，还包括专门针对数据仓库的维度建模技术。 本文将详细介绍数据仓库维度建模技术，并重点讨论三种基于ER建模/关系建模/维度建模的数据仓库总体建模体系：规范化数据仓库，维度建模数据仓库，以及独立数据集市。 数据仓库建模体系之规范化数据仓库 所谓"数据仓库建模体系"，指的是数据仓库从无到有的一整套建模方法。最常见的三种数据仓库建模体系分别为：规范化数据仓库，维度建模数据仓库，独立数据集市。 很多书将它们称为"数据仓库建模方法"，但笔者认为数据仓库建模体系更能准确表达意思，请允许我自作主张一次吧：）。下面首先来介绍规范化数据仓库。 数据仓库建模体系之维度建模数据仓库 非维度建模数据仓库(dimensionally modeled data warehouse)是一种使用交错维度进行建模的数据仓库，其总体架构如下图所示： ?
数据仓库之ODS层搭建 我们本项目中对数据仓库每层的搭建主要分为两部分，第一部分是确定都有哪些表，第二部分是确定数据装载的方式。
也正因为此，我想到了Power BI。 当然，首先得说明，正是因为Notion开放了API，这一切才能够得以实现。
因为准备考研，要看的东西太多了，所以关于Power BI的操作方面的内容会搁置一段时间，以后主要写写理论知识。 ? ? ? ? 之前几篇文章我用的都是奥威Power BI网页版。 微软 Power BI 这是微软推出的交互式数据可视化工具，可以在官网下载。 https://powerbi.microsoft.com/zh-cn/ ? 我选的是Power BI Desktop ? ? 安装很快而且没有别的设置。 ? 注册/登录 ? 界面夸一夸，熟悉的布局有没有。 奥威 Power BI ? 这是国内奥威公司推出的，因为他还推出了一个Ourway BI,所以引用一下官网的话，作区分。 ? 从适用于数据分析人员SpeedBI SAAS云平台，到适用中小企业安装即可用的Power-BI标准方案，再到跨平台的OurwayBI大数据可视化平台，实现BI产品全方位覆盖，满足不同用户不同应用场景的需求
数据仓库的输入方式各种各样的数据源，最终的输出用于企业的数据分析、数据挖掘、数据报表等方向，支撑企业决策 所以从广义BI上来理解，数据仓库是BI的基石，数据仓库为BI系统提供良好的数据基础，为分析决策提供数据支持 接下来再说说狭义BI和数据仓库的关系。 传统的BI方案的数据仓库、ETL、OLAP分析、数据挖掘，前端报表展现的各个环节都是不同的产品，不同的专人负责。假设一个分析报告要改动，涉及到数据层。 在利用BI工具构建BI系统的时候并不一定需要数据仓库，在数据库的基础上搭建也行。但是对于中大型企业，考虑到日常事务多，数据量大，数据库往往要做更多的写优化，在这样的背景下通过构建数据仓库。 将数据通过ETL过程抽取到数据仓库，在此基础上利用BI工具做数据分析与前端展现会更加高效，所以在很多BI项目中，BI工具承担的主要还是前段分析、展示的作用，也就是上面架构图中最右边的部分。 其实很多企业做数据仓库的时候，都忽略了数仓与BI、数据库的差异，只去搞底层数据，不去做数据服务和应用，其实就是把数据仓库给狭义化了。
构建自己的数据仓库时要考虑的基本因素 ? 我们用过很多数据仓库。当我们的客户问我们，对于他们成长中的公司来说，最好的数据仓库是什么时，我们会根据他们的具体需求来考虑答案。 通常，他们需要几乎实时的数据，价格低廉，不需要维护数据仓库基础设施。在这种情况下，我们建议他们使用现代的数据仓库，如Redshift, BigQuery，或Snowflake。 大多数现代数据仓库解决方案都设计为使用原始数据。它允许动态地重新转换数据，而不需要重新摄取存储在仓库中的数据。 在这篇文章中，我们将深入探讨在选择数据仓库时需要考虑的因素。 因为这个存储层被设计成完全独立于计算资源的可伸缩性，它确保了可以毫不费力地为大数据仓库和分析实现最大的可伸缩性。 当数据量在1TB到100TB之间时，使用现代数据仓库，如Redshift、BigQuery或Snowflake。
基本介绍 作为数据仓库和商业智能（DW/BI）行业中有影响力的领军人物，RalphKimball、MargyRoss得到了世界范围内的认可和尊重，他们在《数据仓库与商业智能宝典（第1版）》中确立了行业标准 现在，在《数据仓库与商业智能宝典（第2版）成功设计、部署和维护DW/BI系统》中已经更新了65篇DesignTip和白皮书，从而汇集了DW/BI技术创新前沿的著作。 从项目规划和需求收集，到维度建模、ETL和BI应用，《数据仓库与商业智能宝典（第2版）：成功设计、部署和维护DW/BI系统》涵盖了你在数据仓库和商业智能中将会遇到的所有内容。 启动DW/BI项目和收集需求的注意事项 集成式企业数据仓库的必备要素，其中包括总线架构和矩阵 事实表的粒度性和三种基本类型 渐变维度技术 星型模式、外支架和桥接表 维度建模高级模式 提取、转换和加载（ETL）子系统与数据质量 BI应用实践 大数据注意事项 无论你正以何种身份参与数据仓库或商业智能项目，这本可轻易参考和最近更新的宝典可谓无价之宝。
一、前言 工作内容的变更，导致重新回到数据仓库模型的架构和设计，于是花点时间比较系统的回顾数据仓库建模和系统建设的知识体系，记录下来，作为笔记吧。 二、模型 无论数据仓库技术如何变化，从RDBMS到NoSQL,从传统技术到大数据，其实只是实现技术手段的变化，数据仓库建设生命周期的模式从来都不曾真正颠覆性改变过。向前辈致敬。 另外项目团度在招：资深的数据仓库模型设计师-工作地点北京，有感兴趣的可以把简历发给我吧。
商业智能分析（BI）整合永洪科技产品能力,提供一站式云端自助分析功能和全面的企业级云分析服务支持自服务数据准备、探索式分析和企业级管控，是新一代的敏捷型商业智能分析服务平台。只需几分钟，您就可以在云端轻松自如地完成数据分析、业务数据探查、报表制作等一系列数据可视化操作……
扫码关注腾讯云开发者
领取腾讯云代金券
云服务器
即时通信 IM
网站备案
对象存储
实时音视频
