学习
实践
活动
专区
工具
TVP
写文章

云端数据仓库的模式选型与建设

作为最传统的数据应用之一,数据仓库在企业内部扮演着重要的角色,构建并正确配置好数据仓库,对于数据分析工作至关重要。 一个设计良好的数据仓库,可以让数据分析师们如鱼得水;否则可能使企业陷入无休止的问题之中,并在未来的企业竞争中处于劣势。 随着越来越多的基础设施往云端迁移,数据仓库是否也需要上云? 一、数据仓库建设 数据仓库(DW)的建设方式有很多种,企业可以根据自身需求进行选择。下图简单罗列了主要的DW建设方案并做出扩展对比。 二、云端数据仓库 2.1 云方案优势 基于上面的说明,采用数据仓库的云服务,具有较多优势,包括: 更好的性价比(无论是前期购买、还是后期运营) 更快的交付速度(最快在分钟级) 更优的弹性能力(扩展或压缩 支持从Google云端加载或直接访问,也可以导入数据流。其没有索引,除了数据管理外,几乎不需要维护。 作者:韩锋 首发于作者个人公号《韩锋频道》。 来源:宜信技术学院

65520

Snowflake,价值120亿美元的云端数据仓库公司

根据最近的信息,著名的创业公司,云端数据仓库提供者Snowflake经过最近一轮的融资,其市值已经达到120亿了。这是一个很多创业公司上市之后都很难达到的高度。 简单来说,Snowflake作为一个在不同的云上都能跑起来的,企业级数据仓库,在成本和安全性上都有其优势。 既可以避免企业lock-in到一个特定的数据仓库里(比如Redshift或者BigQuery),又提供了云端数据仓库解决方案。 目前为止,成功的云端数据仓库基本上都是c++写的。c++对于一个快速的查询引擎的实现有天然的优势。Hadoop生态圈不一定做不出这样一个系统,但是对其中很多组件的增加和改造的必然是大量大量的工作。 而Snowflake已经形成了一定的竞争力,各大云厂商在数据仓库的投入也异常巨大。短期内会不会出现一个Hadoop生态圈的产品,出现以后能不能成功,都是值得再观望的问题。

2.9K20
  • 广告
    关闭

    2023新春采购节

    领8888元新春采购礼包,抢爆款2核2G云服务器95元/年起,个人开发者加享折上折

  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    数据仓库①:数据仓库概述

    ~这就是关于数据仓库最贴切的定义了。事实上数据仓库不应让传统关系数据库来实现,因为关系数据库最少也要求满足第1范式,而数据仓库里的关系表可以不满足第1范式。 有了这些数据快照以后,用户便可将其汇总,生成各历史阶段的数据分析报告; 数据仓库组件 数据仓库的核心组件有四个:各源数据库,ETL,数据仓库,前端应用。如下图所示: ? 1. 前端应用 和操作型数据库一样,数据仓库通常提供具有直接访问数据仓库功能的前端应用,这些应用也被称为BI(商务智能)应用; 数据集市(data mart) 数据集市可以理解为是一种"小型数据仓库",它只包含单个主题 当用户或者应用程序不需要/不必要不允许用到整个数据仓库的数据时,非独立数据集市就可以简单为用户提供一个数据仓库的"子集"。 数据仓库开发流程 在数据库系列的第五篇 中,曾详细分析了数据库系统的开发流程。数据仓库的开发流程和数据库的比较相似,因此本文仅就其中区别进行分析。 下图为数据仓库的开发流程: ?

    1.1K71

    数据仓库

    *了解数据仓库相关技术 *了解数据仓库设计过程建造,运行及维护 *了解OLAP及多维数据模型 决策支持系统及其演化 一般将数据分为:分析型数据与操作型数据 操作型数据:由企业的基本业务系统产生的数据 数据仓库的特性:面向主题性,集成性,不可更新和时间性。 集成:数据仓库最重要的特性,分为数据抽取转换,清理(过滤)和装载 不可更新:数据仓库中的数据以批量方式处理,不进行一般主义上的数据更新。 数据仓库的体系结构与环境 从数据层次角度的体系结构来看,典型的数据仓库的数据体系结构包括:操作型数据、操作型 数据存储、数据仓库、数据集市和个体层数据 从功能结构看,可分为数据处理、数据管理和数据应用三个层次 数据仓库的数据组织< 粒度、数据分割(分区)、元数据> 数据仓库的数据单位中保存数据的细化程度或综合程度的级别。 细化程度越高,粒度越小 粒度影响到数据仓库的数据量及系统能回答的查询的类型 进行数据仓库的数据组织时,应根据当前应用的需求进行多粒度级设计。满足多角度,多层次数据查询要求。

    47240

    数据仓库】现代数据仓库坏了吗?

    数据仓库是现代数据堆栈的基础,所以当我们看到 Convoy 数据负责人 Chad Sanderson 在 LinkedIn 上宣称“数据仓库坏了”时,它引起了我们的注意。 我会让您自己决定“不可变数据仓库”(或主动与被动 ETL)是否适合您的数据团队。 不可变数据仓库如何结合规模和可用性 乍得桑德森的观点 现代数据堆栈有许多排列,但数据仓库是一个基础组件。 另一种方法:引入不可变数据仓库 不可变数据仓库概念(也称为活动 ETL)认为,仓库应该是通过数据来表示现实世界,而不是乱七八糟的随机查询、损坏的管道和重复信息。 不可变数据仓库也面临挑战。以下是一些可能的解决方案。 我并不认为不可变数据仓库是灵丹妙药。与任何方法一样,它也有其优点和缺点,而且肯定不是每个组织都适用。

    13820

    数据仓库②-数据仓库与数据集市建模

    前言 数据仓库建模包含了几种数据建模技术,除了之前在数据库系列中介绍过的ER建模和关系建模,还包括专门针对数据仓库的维度建模技术。 本文将详细介绍数据仓库维度建模技术,并重点讨论三种基于ER建模/关系建模/维度建模的数据仓库总体建模体系:规范化数据仓库,维度建模数据仓库,以及独立数据集市。 数据仓库建模体系之规范化数据仓库 所谓"数据仓库建模体系",指的是数据仓库从无到有的一整套建模方法。最常见的三种数据仓库建模体系分别为:规范化数据仓库,维度建模数据仓库,独立数据集市。 很多书将它们称为"数据仓库建模方法",但笔者认为数据仓库建模体系更能准确表达意思,请允许我自作主张一次吧:)。下面首先来介绍规范化数据仓库数据仓库建模体系之维度建模数据仓库 非维度建模数据仓库(dimensionally modeled data warehouse)是一种使用交错维度进行建模的数据仓库,其总体架构如下图所示: ?

    1.8K72

    E-commerce 中促销系统的设计

    在电商平台中,促销是必不可少的营销手段,尤其在国内 各种玩法层出不穷,最开始的满减/秒杀 到优惠卷 再到 拼团/砍价等等 一个良好的促销系统应该具备易于扩展,易于统计促销效果等特点,在遇到秒杀类促销时还需要做到可扩容 促销的核心作用域既订单.因此我在上一篇文章中介绍了电商中订单系统的设计 E-commerce 中订单系统的设计 两个部分既上图中的rule和action部分. rule描述了促销限制,既订单需要满足那些条件才能参与某个促销 另外不以product作为参与促销的最小单位, 是为了进行更细颗粒度的控制. 一个促销可以有多个变体参与,一个变体可以同时参与多个促销. ,数据库字段可以按照实际需求进行增减和修改,特殊促销可自行添加相关表, 如优惠卷促销的coupons表, 拼团的groups表, 报名促销的promotion_sign_up表等等 业务设计 流程设计 表来存储用户领取的优惠卷及使用情况等 优惠卷促销本质上是将传统促销以卷的形式体现了出来,既圣诞满减促销 => 圣诞满减卷的转换.

    24950

    数据仓库入门

    什么是数据仓库(Data Warehouse,DW)? 1991 年,数据仓库之父 Bill Inmon 在《Building the Data Warehouse》一书中,给出的定义: “数据仓库一个面向主题的、集成的、稳定的、随时间变化的数据的集合,以用于支持管理决策过程 建立数据仓库的目的是帮助企业高层系统地组织、理解和使用数据,以便进行战略决策。 数据仓库系统的体系结构 源数据层 源数据是数据仓库系统的基础,是整个系统的数据源泉。 数据存储与管理层 元数据 元数据是关于数据的数据,位于数据仓库的上层,用以描述数据仓库内数据的结构、位置和 建立方法。通过元数据进行数据仓库的管理和使用。 数据仓库 数据仓库中存放了企业的整体信息,而数据集市只存放了某个主题需要的的信息,其目的是 减少数据处理量。

    59920

    数据仓库架构

    针对性强,主要应用于数据仓库构建和OLAP引擎低层数据模型。 总线架构 多维体系结构(总线架构) 数据仓库领域里,有一种构建数据仓库的架构,叫Multidimensional Architecture(MD),中文一般翻译为“多维体系结构”,也称为“总线架构”(Bus 前台还包括像查询管理、活动监控等为了提供数据仓库的性能和质量的服务。 一致性维度 在多维体系结构中,没有物理上的数据仓库,由物理上的数据集市组合成逻辑上的数据仓库。而且数据集市的建立是可以逐步完成的,最终组合在一起,成为一个数据仓库。 虽然在物理上是独立的,但在逻辑上由一致性维度使所有的数据集市是联系在一起,随时可以进行交叉探察等操作,也就组成了数据仓库

    50920

    关注

    腾讯云开发者公众号
    10元无门槛代金券
    洞察腾讯核心技术
    剖析业界实践案例
    腾讯云开发者公众号二维码

    相关产品

    • 云数据仓库 for Apache Doris

      云数据仓库 for Apache Doris

      云数据仓库Doris(cdwdoris)为您提供基于 MPP(大规模并行处理)架构的云端Doris托管服务,拥有开箱即用,弹性易扩展等特性。云数据仓库 Doris支持标准SQL语言,兼容MySQL协议,支持对PB级的海量数据进行高并发查询,和亚秒级的快速分析,帮助您轻松应对多种ETL数据处理和业务探索场景。

    相关资讯

    热门标签

    活动推荐

    扫码关注腾讯云开发者

    领取腾讯云代金券