展开

关键词

数据仓库①:数据仓库概述

~这就是关于数据仓库最贴切的定义了。事实上数据仓库不应让传统关系数据库来实现,因为关系数据库最少也要求满足第1范式,而数据仓库里的关系表可以不满足第1范式。 有了这些数据快照以后,用户便可将其汇总,生成各历史阶段的数据分析报告; 数据仓库组件 数据仓库的核心组件有四个:各源数据库,ETL,数据仓库,前端应用。如下图所示: ? 1. 前端应用 和操作型数据库一样,数据仓库通常提供具有直接访问数据仓库功能的前端应用,这些应用也被称为BI(商务智能)应用; 数据集市(data mart) 数据集市可以理解为是一种"小型数据仓库",它只包含单个主题 当用户或者应用程序不需要/不必要不允许用到整个数据仓库的数据时,非独立数据集市就可以简单为用户提供一个数据仓库的"子集"。 数据仓库开发流程 在数据库系列的第五篇 中,曾详细分析了数据库系统的开发流程。数据仓库的开发流程和数据库的比较相似,因此本文仅就其中区别进行分析。 下图为数据仓库的开发流程: ?

1K71

数据仓库

*了解数据仓库相关技术 *了解数据仓库设计过程建造,运行及维护 *了解OLAP及多维数据模型 决策支持系统及其演化 一般将数据分为:分析型数据与操作型数据 操作型数据:由企业的基本业务系统产生的数据 数据仓库的特性:面向主题性,集成性,不可更新和时间性。 集成:数据仓库最重要的特性,分为数据抽取转换,清理(过滤)和装载 不可更新:数据仓库中的数据以批量方式处理,不进行一般主义上的数据更新。 数据仓库的体系结构与环境 从数据层次角度的体系结构来看,典型的数据仓库的数据体系结构包括:操作型数据、操作型 数据存储、数据仓库、数据集市和个体层数据 从功能结构看,可分为数据处理、数据管理和数据应用三个层次 数据仓库的数据组织< 粒度、数据分割(分区)、元数据> 数据仓库的数据单位中保存数据的细化程度或综合程度的级别。 细化程度越高,粒度越小 粒度影响到数据仓库的数据量及系统能回答的查询的类型 进行数据仓库的数据组织时,应根据当前应用的需求进行多粒度级设计。满足多角度,多层次数据查询要求。

37540
  • 广告
    关闭

    云数据仓库ClickHouse首购10元特惠

    适用于业务初期的行为分析、经营策略等分析查询场景,首购限时10元,快来抢购吧!

  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    数据仓库】现代数据仓库坏了吗?

    数据仓库是现代数据堆栈的基础,所以当我们看到 Convoy 数据负责人 Chad Sanderson 在 LinkedIn 上宣称“数据仓库坏了”时,它引起了我们的注意。 我会让您自己决定“不可变数据仓库”(或主动与被动 ETL)是否适合您的数据团队。 不可变数据仓库如何结合规模和可用性 乍得桑德森的观点 现代数据堆栈有许多排列,但数据仓库是一个基础组件。 另一种方法:引入不可变数据仓库 不可变数据仓库概念(也称为活动 ETL)认为,仓库应该是通过数据来表示现实世界,而不是乱七八糟的随机查询、损坏的管道和重复信息。 不可变数据仓库也面临挑战。以下是一些可能的解决方案。 我并不认为不可变数据仓库是灵丹妙药。与任何方法一样,它也有其优点和缺点,而且肯定不是每个组织都适用。

    1620

    数据仓库②-数据仓库与数据集市建模

    前言 数据仓库建模包含了几种数据建模技术,除了之前在数据库系列中介绍过的ER建模和关系建模,还包括专门针对数据仓库的维度建模技术。 本文将详细介绍数据仓库维度建模技术,并重点讨论三种基于ER建模/关系建模/维度建模的数据仓库总体建模体系:规范化数据仓库,维度建模数据仓库,以及独立数据集市。 数据仓库建模体系之规范化数据仓库 所谓"数据仓库建模体系",指的是数据仓库从无到有的一整套建模方法。最常见的三种数据仓库建模体系分别为:规范化数据仓库,维度建模数据仓库,独立数据集市。 很多书将它们称为"数据仓库建模方法",但笔者认为数据仓库建模体系更能准确表达意思,请允许我自作主张一次吧:)。下面首先来介绍规范化数据仓库数据仓库建模体系之维度建模数据仓库 非维度建模数据仓库(dimensionally modeled data warehouse)是一种使用交错维度进行建模的数据仓库,其总体架构如下图所示: ?

    1.6K62

    数据仓库入门

    什么是数据仓库(Data Warehouse,DW)? 1991 年,数据仓库之父 Bill Inmon 在《Building the Data Warehouse》一书中,给出的定义: “数据仓库一个面向主题的、集成的、稳定的、随时间变化的数据的集合,以用于支持管理决策过程 建立数据仓库的目的是帮助企业高层系统地组织、理解和使用数据,以便进行战略决策。 数据仓库系统的体系结构 源数据层 源数据是数据仓库系统的基础,是整个系统的数据源泉。 数据存储与管理层 元数据 元数据是关于数据的数据,位于数据仓库的上层,用以描述数据仓库内数据的结构、位置和 建立方法。通过元数据进行数据仓库的管理和使用。 数据仓库 数据仓库中存放了企业的整体信息,而数据集市只存放了某个主题需要的的信息,其目的是 减少数据处理量。

    48620

    数据仓库架构

    当前主流建模方法为:ER模型、维度模型。 针对性强,主要应用于数据仓库构建和OLAP引擎低层数据模型。 总线架构 多维体系结构(总线架构) 数据仓库领域里,有一种构建数据仓库的架构,叫Multidimensional Architecture(MD),中文一般翻译为“多维体系结构”,也称为“总线架构”(Bus 前台还包括像查询管理、活动监控等为了提供数据仓库的性能和质量的服务。 一致性维度 在多维体系结构中,没有物理上的数据仓库,由物理上的数据集市组合成逻辑上的数据仓库。而且数据集市的建立是可以逐步完成的,最终组合在一起,成为一个数据仓库

    26820

    数据仓库技术」怎么选择现代数据仓库

    构建自己的数据仓库时要考虑的基本因素 ? 我们用过很多数据仓库。当我们的客户问我们,对于他们成长中的公司来说,最好的数据仓库是什么时,我们会根据他们的具体需求来考虑答案。 通常,他们需要几乎实时的数据,价格低廉,不需要维护数据仓库基础设施。在这种情况下,我们建议他们使用现代的数据仓库,如Redshift, BigQuery,或Snowflake。 大多数现代数据仓库解决方案都设计为使用原始数据。它允许动态地重新转换数据,而不需要重新摄取存储在仓库中的数据。 在这篇文章中,我们将深入探讨在选择数据仓库时需要考虑的因素。 因为这个存储层被设计成完全独立于计算资源的可伸缩性,它确保了可以毫不费力地为大数据仓库和分析实现最大的可伸缩性。 当数据量在1TB到100TB之间时,使用现代数据仓库,如Redshift、BigQuery或Snowflake。

    36731

    数据仓库专题(1)-数据仓库生命周期模型

    一、前言 工作内容的变更,导致重新回到数据仓库模型的架构和设计,于是花点时间比较系统的回顾数据仓库建模和系统建设的知识体系,记录下来,作为笔记吧。 二、模型 无论数据仓库技术如何变化,从RDBMS到NoSQL,从传统技术到大数据,其实只是实现技术手段的变化,数据仓库建设生命周期的模式从来都不曾真正颠覆性改变过。向前辈致敬。 另外项目团度在招:资深的数据仓库模型设计师-工作地点北京,有感兴趣的可以把简历发给我吧。

    70420

    主流加密方式

    高级加密标准(英语:Advanced Encryption Standard,缩写:AES),对称加密

    48920

    数据仓库建模

    一、数据仓库建模的意义 如果把数据看作图书馆里的书,我们希望看到它们在书架上分门别类地放置;如果把数据看作城市的建筑,我们希望城市规划布局合理;如果把数据看作电脑文件和文件夹,我们希望按照自己的习惯有很好的文件夹组织方式 下图是个示例,通过统一数据模型,屏蔽数据源变化对业务的影响,保证业务的稳定,表述了数据仓库模型的一种价值: 二、数据仓库分层的设计 为了实现以上的目的,数据仓库一般要进行分层的设计,其能带来五大好处: 三、两种经典的数据仓库建模方法 前面的分层设计中你会发现有两种设计方法,关系建模和维度建模,下面分别简单介绍其特点和适用场景。 1、维度建模 (1)定义 维度模型是数据仓库领域另一位大师Ralph Kimball 所倡导的。 (3)优缺点 优点:技术要求不高,快速上手,敏捷迭代,快速交付;更快速完成分析需求,较好的大规模复杂查询的响应性能 缺点:维度表的冗余会较多,视野狭窄 2、关系建模 (1)定义 是数据仓库之父Inmon

    55531

    Greenplum 实时数据仓库实践(1)——数据仓库简介

    实时数据仓库首先是个数据仓库,只是它优先考虑数据的时效性问题。因此本篇开头将介绍业界公认的数据仓库定义,它和操作型数据库应用的区别,以及为什么我们需要数据仓库。 1.1 什么是数据仓库 数据仓库的概念可以追溯到十九世纪八十年代,当时IBM的研究人员开发出了“商业数据仓库”。 现在你应该已经熟悉了数据仓库的概念,那么数据仓库里的数据从哪里来呢?通常数据仓库的数据来自各个业务应用系统。 对比1.1节中数据仓库的定义不难看出,操作型数据存储在某些方面具有类似于数据仓库的特点,但在另一些方面又显著不同于数据仓库。 像数据仓库一样,是面向主题的。 像数据仓库一样,其数据是完全集成的。 所以在传统数据仓库的基础上,逐渐对数据的实时性提出了更高的要求。于是随之诞生了实时数据仓库,并且衍生出了两种主流技术架构:Lambda和Kappa。 1.

    28340

    -数据仓库ETL开发

    ETL开发 概述 ETL是数据仓库的后台,主要包含抽取、清洗、规范化、提交四个步骤,传统数据仓库一般分为四层模型。 ? 分层的作用: 1.划分ETL阶段工作重心,便于管理 2.降低开发和维护成本 3.减少需求变化带来的冲击 4.便于数据问题跟踪 名词解释: ODS——操作性数据 DW——数据仓库 DM——数据集市 ? STG层是根据CDC策略把各个源系统的数据抽取到数据仓库中。STG层主要是面向批处理的形式,如果是根据日志信息实时同步,可以跳过STG层直接进入ODS层。 提交数据质量测量结果表,通常异常数据处理策略有:中断处理;把拒绝记录放在错误时间表里;只做标记,数据继续处理 纠正数据分为四个优先级:必须在ETL处理;最好在ETL处理;最好在源头处理;必须在源头处理 数据规范化: 由于数据仓库的数据来源各个业务系统

    1.1K30

    数据仓库模型说明

    1.数仓概述 数据仓库的建设是一个过程,而不是一个项目。在这个过程中我们需要形成自己的规范,以方便管理和维护。 在数据仓库的建设过程中,不仅会面临着公司业务迅速发展,业务系统迭代变更,需要对业务系统数据进行相应 的整合,形成公司完整的统一数据视图;而且基于数据仓库的应用也是多样化的,比如支撑自己企业的数据可视化平台

    95230

    数据仓库实战 3

    经过前面那么久的折腾,我们终于可以切入主题了,接下来我们用数仓分层的理论,在Hive中建立数据仓库

    31220

    -数据仓库维度建模

    维度建模还会分为星型模型、雪花模型等,各有优缺点,但很少直接回答一个问题,也就是数据仓库为什么要采用维度建模? 维度模型是数据仓库领域大师Ralph Kimball 所倡导,他的《[数据仓库工具箱]》,是数据仓库工程领域最流行的数仓建模经典。 解决业务的变动和数据仓库的灵活性。 通过数据模型的建设,能够很好的分离出底层技术的实现和上层业务的展现。 当上层业务发生变化时,通过数据模型,底层的技术实现可以非常轻松的完成业务的变动,从而达到整个数据仓库系统的灵活性。 帮助数据仓库系统本身的建设。 通过数据仓库的模型建设,开发人员和业务人员能够很容易的达成系统建设范围的界定,以及长期目标的规划,从而能够使整个项目组明确当前的任务,加快整个系统建设的速度。

    42610

    数据仓库是什么

    什么是数据仓库数据仓库,英文名称为Data Warehouse,可简写为DW或DWH。数据仓库,是为企业所有级别的决策制定过程,提供所有类型数据支持的战略集合。 数据仓库的特点 1. 数据仓库的数据是面向主题的 与传统数据库面向应用进行数据组织的特点相对应,数据仓库中的数据是面向主题进行组织的。什么是主题呢? 数据仓库中的数据综合工作可以在从原有数据库抽取 数据时生成,但许多是在数据仓库内部生成的,即进入数据仓库以后进行综合生成的。 3. 数据库中进行联机处理的数据经过集成输入到数据仓库中,一旦数据仓库存放的数据已经超过数据仓库的数据存储期限,这些数据将从当前的数据仓库中删去。 但并不是说,在从数据集成输入数据仓库开始到最终被删除的整个数据生存周期中,所有的数据仓库数据都是永远不变的。 数据仓库的数据是随时间的变化而不断变化的,这是数据仓库数据的第四个特征。

    28810

    Greenplum 实时数据仓库实践(2)——数据仓库设计基础

    关系模型被广泛应用于数据处理和数据存储,尤其是在数据库领域,现在主流的数据库管理系统几乎都是以关系数据模型为基础实现的。 表2-2到表2-4分别为大部分主流数据库系统(Oracle、MySQL、PostgreSQL、Greenplum等)的非、与、或逻辑运算真值表。 大部分主流数据库系统(Oracle、MySQL、PostgreSQL、Greenplum等)支持叫做check的约束,也用于定义列中可以接受的值,但这种约束是定义在属性域之上的,比属性域的约束性更强。 2.4.2 数据集市与数据仓库的区别 不同于数据集市,数据仓库处理整个组织范围内的多个主题域,通常是由组织内的核心单位,如IT部门承建,所以经常被称为中心数据仓库或企业数据仓库。 2.5 数据仓库实施步骤 实施一个数据仓库项目的主要步骤是:定义项目范围、收集并确认业务需求和技术需求、逻辑设计、物理设计、从源系统向数据仓库装载数据、使数据可以被访问以辅助决策、管理和维护数据仓库

    25130

    Android主流框架集锦

    30310

    扫码关注腾讯云开发者

    领取腾讯云代金券