微信图片_20190520110434.jpg 很长一段时间，BI和数据仓库几乎都是如影随形、难舍难分。...企业如果想要实行“数据驱动决策-决策推动业务发展”的机制，就必须先有数据仓库充当中央存储库，供BI查询和调取，然后再在BI上进行数据的分析与可视化。...但数据分析和商业决策发展至今，企业想要实现数据驱动决策，是否还是无法绕过数据仓库？在现代商业环境中重新定义BI和数据仓库，我们又能不能找到合适的替代方案？...BI（商业智能）：BI是分析数据并获取洞察力、从而帮助企业做出决策的一系列方法、技术和软件。相比数据仓库，BI中还包含了数据挖掘，数据可视化，多维分析，标签分类等方面。...1.gif 传统BI项目的构建路径决定了其必须依赖数据仓库才能进行数据分析。
大家都知道，企业要做数据分析，商业智能BI和数据仓库二者缺一不可。许多人在疑惑，我的数据仓库还没有建立起来，怎么做商业智能BI呢？真得在做商业智能BI之前先建数据仓库吗？...无论哪一种BI项目，都需要从各级管理者的决策性思维出发，建立分主题的数据模型，从而形成数据仓库，无论其存在形式如何，数据仓库的分析思路必然贯穿于整个项目，并涵盖各个层级的发展战略和业务表单。...商业智能BI的逻辑 商业智能(Business Intelligence)是一种对商业信息进行收集、管理和分析的过程，它通常包括数据库技术、数据仓库(或数据场)、联机分析处理(OLAP)等几个方面，其实现涉及可视化...商业智能BI不是简单的报表和漂亮的图形，它主要考虑的是模型交付能力和工具软件的开放性。面对海量数据，提高信息的利用率，快速、准确地找到所需信息，做出正确的决策，是商业智能BI发展的驱动力。...由此不难看出，任何BI项目，都需要从各级管理者的决策性思维出发，建立分主题的数据模型，从而形成数据仓库，无论其存在形式如何，分析思想都必须贯穿于整个项目，并涵盖各个层次的发展战略和业务表单，随时纳入外部数据
和数据仓库有什么区别？ 其实是这样的：数据仓库，是把企业所有数据都搞到一起存好，一般只能由 IT 搞的。而数据集市，是一个低调的称呼。这样比较给面子，数据集市大到一定程度，和数据仓库本质一样。...所以，要低调的，这样就是在数据仓库的基础上，架设一个由业务人可以控制的数据集市。 那数据集市可以放多少数据呢？可以放多达 TB 级别。 那数据集市有什么好处呢？...与其他类似东西的区别，包括：DataFlow，DataSet，数据库，数据仓库，Power BI 有啥区别呢？ DataFlow 是一个管子，定义了数据应该怎么走，管子可以套管子。...归从属的 Power BI 用户所有，一人一文件一个。 数据库是一种技术称呼，任何一片水都是数据库，从小池塘到胡泊到海洋都是数据库。 数据仓库是企业建立的统一的水库。...数据集市，是从数据仓库或数据库或任何小水塘子把水聚集到一个大池子里，是小区的公共游泳池。归小区物业管。以后谁要来里面游泳或接水，可以交物业费或免费，随你说了算。
商业智能 BI、数据仓库 DW、数据挖掘 DM 商业智能BI(Business Intelligence) 。相比于数据仓库、数据挖掘，它是一个更大的概念。...商业智能可以说是基于数据仓库，经过了数据挖掘后，得到了商业价值的过程。所以说数据仓库是个金矿，数据挖掘是炼金术，而商业报告则是黄金。 ? 数据仓库DW(Data Warehouse) 。...它可以说是 BI 这个房子的地基，搭建好 DW 这个地基之后，才能进行分析使用，最后产生价值。数据仓库可以说是数据库的升级概念. 和数据库并无明显差别都是通过数据库技术来存储数据的。...在商业智能 BI 中经常会使用到数据挖掘技术。数据挖掘的核心包括分类、聚类、预测、关联分析等任务，通过这些炼金术，我们可以从数据仓库中得到宝藏，比如商业报告。 ?...比如数据仓库中有数据和数据之间的各种复杂关系，为了描述这些关系，元数据可以对数据仓库的数据进行定义，刻画数据的抽取和转换规则，存储与数据仓库主题有关的各种信息。
首先说说数据仓库系统构建过程中一些主要的环节： 1. 数据收集 2. ETL 3. 报表系统的开发 4. 基础技术环境的构建、维护 5. 算法、数据挖掘 6....ETL，将收集过来的数据进行清洗、转换，在此过程中形成数据仓库的层次化结构。...这个环节需要一个根据具体的业务需要，通过ETL过程形成数据仓库的层次化体系结构以及抽象概念系统，以便于后续的报表开发和数据分析、数据挖掘。 3. 报表系统开发。
Preface：本文将会讲述 BI/DW/DA 领域的一些常见概念，如：事实表、维度表、建模、多维分析、cube 等，但不涉及具体实例分析。...数据仓库是企业惟一、真实、可靠的综合数据平台。...，进行转换、清洗，并最终加载到目标数据仓库中。...数据仓库的物理模型较常见的操作型数据库的物理模型有很大不同。...而且为了更好的跟踪历史信息，以及更快的产生报表，数据仓库的物理模型中存在着大量冗余字段。 数据仓库的物理模型分为星型和雪花型两种。
本文经授权转自：数据工匠俱乐部（id：zgsjgjjlb） 前言 随着大数据技术的不断更新和迭代，数据管理工具得到了飞速的发展，相关概念如雨后春笋一般应运而生，如从最初决策支持系统(DSS)到商业智能(BI...一 数据仓库 数据仓库平台逐步从BI报表为主到分析为主、到预测为主、再到操作智能为目标。 ?...图1.数据仓库发展阶段划分 商务智能（BI，Business Intelligence）是一种以提供决策分析性的运营数据为目的而建立的信息系统。...在前10年，BI报表项目比较多，是数据仓库项目的前期预热项目（主要分析为主的阶段，是数据仓库的初级阶段），制作一些可视化报表展现给管理者。...图6.数据仓库产品构成 二 数据湖 数据湖(Data Lake)是Pentaho的CTO James Dixon提出来的(Pentaho作为一家BI公司在理念上是挺先进的)，是一种数据存储理念——即在系统或存储库中以自然格式存储数据的方法
前言 随着大数据技术的不断更新和迭代，数据管理工具得到了飞速的发展，相关概念如雨后春笋一般应运而生，如从最初决策支持系统(DSS)到商业智能(BI)、数据仓库、数据湖、数据中台等，这些概念特别容易混淆...一 数据仓库 数据仓库平台逐步从BI报表为主到分析为主、到预测为主、再到操作智能为目标。 ?...图1.数据仓库发展阶段划分 商务智能（BI，Business Intelligence）是一种以提供决策分析性的运营数据为目的而建立的信息系统。...在前10年，BI报表项目比较多，是数据仓库项目的前期预热项目（主要分析为主的阶段，是数据仓库的初级阶段），制作一些可视化报表展现给管理者。...图6.数据仓库产品构成 二 数据湖 数据湖(Data Lake)是Pentaho的CTO James Dixon提出来的(Pentaho作为一家BI公司在理念上是挺先进的)，是一种数据存储理念——即在系统或存储库中以自然格式存储数据的方法
~这就是关于数据仓库最贴切的定义了。事实上数据仓库不应让传统关系数据库来实现，因为关系数据库最少也要求满足第1范式，而数据仓库里的关系表可以不满足第1范式。...有了这些数据快照以后，用户便可将其汇总，生成各历史阶段的数据分析报告； 数据仓库组件 数据仓库的核心组件有四个：各源数据库，ETL，数据仓库，前端应用。如下图所示： ? 1....前端应用 和操作型数据库一样，数据仓库通常提供具有直接访问数据仓库功能的前端应用，这些应用也被称为BI(商务智能)应用； 数据集市(data mart) 数据集市可以理解为是一种"小型数据仓库"，它只包含单个主题...当用户或者应用程序不需要/不必要不允许用到整个数据仓库的数据时，非独立数据集市就可以简单为用户提供一个数据仓库的"子集"。...数据仓库开发流程 在数据库系列的第五篇 中，曾详细分析了数据库系统的开发流程。数据仓库的开发流程和数据库的比较相似，因此本文仅就其中区别进行分析。 下图为数据仓库的开发流程： ?
BI进入国内已经有一些年头了，国内外IT巨头都纷纷抢滩这个领域，一些中小软件企业也涉足其中。零售、制造业、快消品、航空、金融、电信等行业都成为BI实施的重要领地。...但是，说句不客气的话，大部分BI项目都是失败的，至少是问题重重，根本达不到客户的要求，数据质量、系统性能是首当其冲的主要问题。 从业人员中，50%以上都严重不合格，做出来的东西质量也就可想而知。...然后是数据加载到数据仓库/数据集市，在加载前，代理键的分配，迟到维度信息的处理，早到事实数据的处理，这些都考验设计者的智慧和经验。...好了，数据终于装载到数据仓库了，下面要做什么呢？大家都知道要做剧集。 但是，可能的查询成千上万，你聚集哪些？...2、数据仓库建模 大部分建模师也都知道维度建模、去范式设计，大的方面基本上都知道。
Quick BI（以下简称Qbi）做数据分析有5个模块：仪表板、电子表格、数据大屏、即席分析和自主取数。其中仪表板和即席分析比较接近于Power BI（以下简称Pbi）制作的报告。
Quick BI（以下简称Qbi）做数据分析有5个模块：仪表板、电子表格、数据大屏、即席分析和自主取数。其中仪表板和即席分析比较接近于Power BI（以下简称Pbi）制作的报告。...1 图表联动，再谈数据集和数据模型 早在本系列开篇里（【Quick BI VS Power BI】（一））我提到，Qbi比Pbi更像Excel的数据透视表。...5 事件 Quick BI中，交叉表支持数据填报和钉钉两种事件。在交叉表中添加数据填报事件，则可以将数据内容录入到目标数据库中，完成数据填报。
Quick BI（以下简称Qbi）做数据分析有5个模块：仪表板、电子表格、数据大屏、即席分析和自主取数。其中仪表板和即席分析比较接近于Power BI（以下简称Pbi）制作的报告。...1 基本逻辑 个人认为，Qbi、帆软、Tableau等一系列BI工具，基本逻辑其实跟Excel透视表非常相似。Excel透视表基于一张基础表表，生成透视、拖拉指标、绘制图表。...Power BI的底层逻辑与此差异很大。网上很多宣传文章说会用Excel就会用PowerBI，而以我个人学习和指导他人的经验来看，Excel经验对于上手Pbi并没有显著的作用。...Pbi跟很多Excel透视表以及其他相似BI工具的侧重点不一样。Pbi三大突出优势：数据清洗（Power Query）、多表建模、自定义度量值（DAX)。
数据仓库是现代数据堆栈的基础，所以当我们看到 Convoy 数据负责人 Chad Sanderson 在 LinkedIn 上宣称“数据仓库坏了”时，它引起了我们的注意。...不可变数据仓库如何结合规模和可用性 乍得桑德森的观点 现代数据堆栈有许多排列，但数据仓库是一个基础组件。...另一种方法：引入不可变数据仓库 不可变数据仓库概念（也称为活动 ETL）认为，仓库应该是通过数据来表示现实世界，而不是乱七八糟的随机查询、损坏的管道和重复信息。...这一层是 BI 工程师将工程中的内容与数据消费者需要的内容相匹配的地方，可以自动化生成 Kimball 数据集市。 不可变数据仓库也面临挑战。以下是一些可能的解决方案。...我并不认为不可变数据仓库是灵丹妙药。与任何方法一样，它也有其优点和缺点，而且肯定不是每个组织都适用。 与数据网格和其他崇高的数据架构计划一样，不可变数据仓库是一种理想状态，很少成为现实。
海盗指标法(AARRR海盗模型) 它反映了增长是系统性地贯穿于用户生命周期各个阶段的：用户拉新(Acquisition)、用户激活(Activation)、用...
*了解数据仓库相关技术 *了解数据仓库设计过程建造，运行及维护 *了解OLAP及多维数据模型 决策支持系统及其演化 一般将数据分为：分析型数据与操作型数据 操作型数据：由企业的基本业务系统产生的数据...数据仓库的特性：面向主题性，集成性，不可更新和时间性。 集成：数据仓库最重要的特性，分为数据抽取转换，清理（过滤）和装载 不可更新：数据仓库中的数据以批量方式处理，不进行一般主义上的数据更新。...数据仓库的体系结构与环境 从数据层次角度的体系结构来看，典型的数据仓库的数据体系结构包括：操作型数据、操作型 数据存储、数据仓库、数据集市和个体层数据 从功能结构看，可分为数据处理、数据管理和数据应用三个层次...数据仓库的数据组织 数据仓库的数据单位中保存数据的细化程度或综合程度的级别。...细化程度越高，粒度越小 粒度影响到数据仓库的数据量及系统能回答的查询的类型 进行数据仓库的数据组织时，应根据当前应用的需求进行多粒度级设计。满足多角度，多层次数据查询要求。
前言 数据仓库建模包含了几种数据建模技术，除了之前在数据库系列中介绍过的ER建模和关系建模，还包括专门针对数据仓库的维度建模技术。...本文将详细介绍数据仓库维度建模技术，并重点讨论三种基于ER建模/关系建模/维度建模的数据仓库总体建模体系：规范化数据仓库，维度建模数据仓库，以及独立数据集市。...数据仓库建模体系之规范化数据仓库 所谓"数据仓库建模体系"，指的是数据仓库从无到有的一整套建模方法。最常见的三种数据仓库建模体系分别为：规范化数据仓库，维度建模数据仓库，独立数据集市。...很多书将它们称为"数据仓库建模方法"，但笔者认为数据仓库建模体系更能准确表达意思，请允许我自作主张一次吧：）。下面首先来介绍规范化数据仓库。...数据仓库建模体系之维度建模数据仓库 非维度建模数据仓库(dimensionally modeled data warehouse)是一种使用交错维度进行建模的数据仓库，其总体架构如下图所示： ?
数据仓库之ODS层搭建 我们本项目中对数据仓库每层的搭建主要分为两部分，第一部分是确定都有哪些表，第二部分是确定数据装载的方式。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
