数据仓库事实星座模式 - 腾讯云开发者社区 - 腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

维度模型数据仓库（十七） —— 无事实的事实表

无事实的事实表本篇讨论一种技术，用来处理源数据中没有度量的需求。例如，产品源数据不包含产品数量信息，如果系统需要得到产品的数量，很显然不能简单地从数据仓库中直接得到。...之所以叫做无事实的事实表是因为表本身并没有度量。 ...产品发布的无事实事实表本节说明如何实现一个产品发布的无事实事实表，包括新增和初始装载product_count_fact表。...图（五）- 12-1显示了跟踪产品发布数量的数据仓库模式（只显示与product_count_fact表有关的表）。...----------+------------------------+ 4 rows in set (0.00 sec) 修改DW定期装载脚本修改了数据仓库模式后

9091 0

数据仓库：详解维度建模之事实表

本文目录如下：一、事实表基础二、事实表设计规则三、事实表设计方法四、有事实的事实表五、无事实的事实表六、聚集型事实表 ---- 正文开始：每个数据仓库都包含一个或者多个事实数据表。...常见的无事实的事实表主要有如下两种：第一种是事件类的，记录事件的发生。如阿里巴巴数据仓库中，最常见的是日志类事实表。第二种是条件、范围或资格类的，记录维度与维度多对多之间的关系。...六、聚集型事实表数据仓库的性能是数据仓库建设是否成功的重要标准之一。聚集主要是通过汇总明细粒度数据来获得改进查询性能的效果。...常见聚集型事实表数据仓库中，按照日期范围的不同，通常包括以下类别的聚集事实表公共维度层-通用汇总应对大部分可预期的、常规的数据需求，通常针对模式相对稳定的分析、BI指标计算、特征提取等场景，封装部分业务处理...日粒度主要应对模式稳定的分析、BI日报、特征提取场景，同时日粒度也为后续累积计算提供粗粒度的底层，数据范围一般为上一日的数据。

2.8K1 0

您找到你想要的搜索结果了吗？

是的

没有找到

维度模型数据仓库（十八） —— 迟到的事实

迟到的事实装载日期在生效日期后的事实就是迟到的事实。晚于订单日期进入源数据的销售订单可以看做是一个迟到事实的例子。...销售订单被装载进其事实表时，装载的日期晚于销售订单的订单日期，因此是一个迟到的事实。（因为定期装载的是前一天的数据，所以这里的晚于指的是晚2天及其以上。） ...迟到事实影响周期快照事实表的装载，如（五）进阶技术5. “快照”中讨论的month_end_sales_order_fact表。...date_dim(date_sk); 清单（五）-13-1 创建完entry_date_dim视图，并给sales_order_fact表添加了entry_date_sk列以后，需要修改数据仓库定期装载脚本来包含登记日期...注意sales_order数据源已经含有登记日期，只是以前没有将其装载进数据仓库。

3143 0

三个例子，让你看懂数据仓库多维数据模型的设计

一、概述　　多维数据模型是最流行的数据仓库的数据模型，多维数据模型最典型的数据模式包括星型模式、雪花模式和事实星座模式，本文以实例方式展示三者的模式和区别。...四、事实星座模式（Fact Constellation）或星系模式（galaxy schema）　　数据仓库由多个主题构成，包含多个事实表，而维表是公共的，可以共享，这种模式可以看做星型模式的汇集，因而称作星系模式或者事实星座模式...本模式示例如下图所示： ? 如上图所示，事实星座模式包含两个事实表：sales和shipping，二者共享维表。...五、总结　　事实星座模式是数据仓库最长使用的数据模式，尤其是企业级数据仓库（EDW）。...这也是数据仓库区别于数据集市的一个典型的特征，从根本上而言，数据仓库数据模型的模式更多是为了避免冗余和数据复用，套用现成的模式，是设计数据仓库最合理的选择。

2.5K2 0

数据仓库专题（3）-分布式数据仓库事实表设计思考

一、前言　　最近在设计数据仓库的数据逻辑模型，考虑到海量数据存储在分布式数据仓库中的技术架构模式，需要针对传统的面相关系型数据仓库的数据存储模型进行技术改造。...设计出一套真正适合分布式数据仓库的数据存储模型。二、事实表设计基础事实表记录发生在现实世界中的操作型事件，其所产生的可度数值。...事实表的设计完全依赖于物理活动，不受可能产生的最终报表的影响。事实表中，除数字度量外，事实表总是包含外键，用于关联与之相关的维度，也可以包含退化的维度键和日期/时间戳。...传统模式的主要问题如下：如果数据量很小的情况下，执行多表关联，没有问题，但是当在分布式数据仓库，单表存储海量数据的情况下，很明显模式将面临挑战。...三、分布式模式-维度建模新原则（1）以值代键：针对键值唯一的维表，除非必要，否则不引入维表，如IP地址维表，采用IP作为维表的主键，事实表中存储IP值；（2）合理分表：传统关系型数据仓库存在多表整合的冲动

9693 0

数据仓库②-数据仓库与数据集市建模

然而这种模式在实际应用中很少见，因为这样做会导致开发难度增大，而数据冗余问题在数据仓库里并不严重。 3. 星座模式星座模式(Fact Constellations Schema)也是星型模式的扩展。...基于这种思想就有了星座模式： ? 前面介绍的两种维度建模方法都是多维表对应单事实表，但在很多时候维度空间内的事实表不止一个，而一个维表也可能被多个事实表用到。...在业务发展后期，绝大部分维度建模都采用的是星座模式。 4. 三种模式对比归纳一下，星形模式/雪花模式/星座模式的关系如下图所示： ? 雪花模式是将星型模式的维表进一步划分，使各维表均满足规范化设计。...而星座模式则是允许星形模式中出现多个事实表。本文后面部分将具体讲到这几种模式的使用，请读者结合实例体会。实例：零售公司销售主题的维度建模在进行维度建模前，首先要了解用户需求。...一个常见的做法是使用星座模型同时设置两种事实表(可含多个聚集事实表)。这种设计方法中，聚集事实表使用和细节事实表细节事实表的维度。如下维度建模方法采用星座模型综合了细节事实表和两种聚集事实表： ?

5.3K7 2

数据仓库中的维度表和事实表概述

事实表每个数据仓库都包含一个或者多个事实数据表。事实数据表可能包含业务销售数据，如现金登记事务所产生的数据，事实数据表通常包含大量的行。...事实数据表的主要特点是包含数字数据（事实），并且这些数字信息可以汇总，以提供有关单位作为历史的数据，每个事实数据表包含一个由多个部分组成的索引，该索引包含作为外键的相关性纬度表的主键，而维度表包含事实记录的特性...事实数据表不应该包含描述性的信息，也不应该包含除数字度量字段及使事实与纬度表中对应项的相关索引字段之外的任何数据。...一般来说，一个事实数据表都要和一个或多个纬度表相关联，用户在利用事实数据表创建多维数据集时，可以使用一个或多个维度表。...维度表维度表可以看作是用户来分析数据的窗口，纬度表中包含事实数据表中事实记录的特性，有些特性提供描述性信息，有些特性指定如何汇总事实数据表数据，以便为分析者提供有用的信息，维度表包含帮助汇总数据的特性的层次结构

4.7K3 0

数据仓库专题（10）-文本事实和杂项维度

一、杂项维度在维度建模的数据仓库中，有一种维度叫Junk Dimension，中文一般翻译为“杂项维度”。杂项维度是由操作系统中的指示符或者标志字段组合而成，一般不在一致性维度之列。...一张事实表中可能会存在好几个类似的字段，如果作为事实存放在事实表中，会导致事实表占用空间过大；如果单独建立维度表，外键关联到事实表，会出现维度过多的情况；如果将这些字段删除，会有人不同意。...这时，我们通常的解决方案就是建立杂项维度，将这些字段建立到一个维度表中，在事实表中只需保存一个外键。几个字段的不同取值组成一条记录，生成代理键，存入维度表，并将该代理键保存入相应的事实表字段。...二、文本事实在维度建模中，我们经常会遇到一些文本型的事实，它们通常是一些标识信息、属性或者描述信息。这些字段看似属于事实表中的事实，但是它们又不是键、度量事实或者退化维度。...通常，不太建议将这些文本事实字段建立到事实表中，而应该在维度表中给它们找到适当的位置。当遇到文本型的事实时，我们首先要考虑的应该是这个事实是否属于某个维度表。

1.3K2 0

为什么说数据仓库、数据库是每个IT架构师都要精通的技能？

可以看出，星形模式的维度建模由一个事实表和一组维表成，且具有以下特点： a. 维表只和事实表关联，维表之间没有关联 b. 每个维表的主码为单列，且该主码放置在事实表中，作为两边连接的外码 c....以事实表为核心，维表围绕核心呈星形分布 2、雪花模式雪花模式(Snowflake Schema)是对星形模式的扩展，每个维表可继续向外连接多个子维表。下图为使用雪花模式进行维度建模的关系结构： ?...然而这种模式在实际应用中很少见，因为这样做会导致开发难度增大，而数据冗余问题在数据仓库里并不严重。 3、星座模式星座模式也是星形模式的扩展。基于这种思想就有了星座模式： ?...前面介绍的两种维度建模方法都是多维表对应单事实表，但在很多时候维度空间内的事实表不止一个，而一个维表也可能被多个事实表用到。在业务发展后期，绝大部分维度建模都采用的是星座模式。...4、三种模式对比归纳一下，星形模式/雪花模式/星座模式的关系如下图所示： ? 雪花模式是将星型模式的维表进一步划分，使各维表均满足规范化设计。而星座模式则是允许星形模式中出现多个事实表。

7175 0

数仓模型设计详细讲解

一、维度建模基本概念维度模型是数据仓库领域大师Ralph Kimall所倡导，他的《数据仓库工具箱》，是数据仓库工程领域最流行的数仓建模经典。...维度建模是专门应用于分析型数据库、数据仓库、数据集市建模的方法。数据集市可以理解为是一种小型数据仓库。 1.1 事实表发生在现实世界中的操作型事件，其所产生的可度量数值，存储在事实表中。...总的说来，在数据仓库中不需要严格遵守规范化设计原则。因为数据仓库的主导功能就是面向分析，以查询为主，不涉及数据更新操作。事实表的设计是以能够正确记录历史信息为准则。...2.3 星座模式星座模式是星型模式延伸而来，星型模式是基于一张事实表的，而星座模式是基于多张事实表的，而且共享维度信息。...前面介绍的两种维度建模方法都是多维表对应单事实表，但在很多时候维度空间内的事实表不止一个，而一个维表也可能被多个事实表用到。在业务发展后期，绝大部分维度建模都采用的是星座模式。 ?

8362 0

Greenplum 实时数据仓库实践（8）——事实表技术

（3）修改TDS数据库模式里的表执行下面的脚本将数据仓库中的事务事实表改造成累积快照事实表。...图8-2 无事实的事实表执行下面的语句，在数据仓库模式中创建产品发布日期视图及其无事实事实表。由于是新建表，不需要事先停止Canal服务。...8.5 迟到的事实数据仓库通常建立在一种理想的假设情况下，这就是数据仓库的度量（事实记录）与度量的环境（维度记录）同时出现在数据仓库中。...month_end_balance_fact表在数据仓库中构成了另一个星型模式。新的星型模式除了包括这个新的事实表，还包括两个其他星型模式中已有的维度表，即产品维度表与月份维度表。...、周期快照事实表和累积快照事实表是多维数据仓库中常见的三种事实表。

1.7K1 1

模型设计(数据仓库、星型、雪花型、星系模式)

1.数据仓库数据仓库是多维数据库，它扩展了关系数据库模型，以星形架构为主要结构方式的，并在它的基础上，扩展出理论雪花形架构和数据星座等方式，但不管是哪一种架构，维度表、事实表和事实表中的量度都是必不可少的组成要素...2.星型模型星形模式通过使用一个包含主题的事实表和多个包含事实的非正规化描述的维度表来支持各种决策查询；使用星形模式主要有两方面的原因：提高查询的效率。...采用星形模式设计的数据仓库的优点是由于数据的组织已经过预处理，主要数据都在庞大的事实表中，所以只要扫描事实表就可以进行查询，而不必把多个庞大的表联接起来，查询访问效率较高，同时由于维表一般都很小，甚至可以放在高速缓存中...，与事实表进行连接时其速度较快，便于用户理解；对于非计算机专业的用户而言，星形模式比较直观，通过分析星形模式，很容易组合出各种查询。...，这就是事实星座，也称为星系模式（galaxy schema）。

1.2K3 0

分布式数据仓库最佳实践（21）- 事实表设计

一、前言本文是《分布式数据仓库最佳实践》系列文章的第四部分第21篇《事实表设计》，针对事实表设计专题进行详细论述，内容包括事实表的类型划分，各种类型的事实表应用的场景、具有的特性和典型的案例。...2.2 事实表设计详解首先，明确第一个问题：事实表是分类型的，既包括包含明确可度量指标的事实表，如订单事件；也包括没有明确的可度量数值的事实表，如网民的对网站的一次访问。...其次，对于包含事实的事实表，也可以根据事实表本身的特性，进行类型划分，具体而言就包括：事务型事实表、周期快照事实表和累积快照事实表。其各自使用的场景、具备的特性和典型案例如上图所示。...如事务型事实表具有数据系数的特点，因为只有事件发生时，才会有相应的记录产生。选择这种模式，就必须接受这类特点。当然我们也会有相应的协作策略和协调机制解决这类问题。...三、未完待续本文是《分布式数据仓库最佳实践》系列文章的第四部分第21篇《事实表设计》，针对事实表设计专题进行详细论述，内容包括事实表的类型划分，各种类型的事实表应用的场景、具有的特性和典型的案例。

9643 0

【商务智能】数据仓库 ( 多维数据模型 | 多维数据分析 )

三、多维数据模型 1、星型模式 2、雪片模式 3、事实星座四、在线分析处理五、多维数据分析操作总结 ---- 前言上一篇博客【商务智能】数据预处理中讲解了数据预处理操作 , 本篇博客介绍...逻辑建模的方法 ; 具有简单 , 易于理解 , 方便查询 ; 多维数据模型又称为维度数据模型 , 由维度表和事实表构成 ; 1、星型模式星型模式 : 中间有一个表 , 称为事实表..., 周围有很多小表 , 这些表称为维表 ; 星型模式缺点 : ① 星型模式不支持维的层结构 ; 单一维表 : 每个维只有一个维表 , 所有的维层属性都放在一个表中 , 没有进行规范化...优缺点 : 雪片模型优点 : 雪片模型的维表是规范化的维表 , 雪片模型维表易于维护 , 节省存储空间 ; 雪片模型缺点 : 雪片模型查询时 , 需要进行较多的连接操作 , 影响系统性能 ; 3、事实星座...该模型比星型模式 , 雪片模型更复杂 , 上述两个模型 , 只有一个事实表 , 但是在事实星座模型中 , 有多个事实表 , 两个事实表 , 可能公用一些维表 ; 四、在线分析处理在线分析处理

6863 0

数据仓库(08)数仓事实表和维度表技术

总线矩阵用于设计数据仓库架构的基本工具，矩阵的行表示业务过程，列代表维度。矩阵中的点表示维度与给定的业务过程是否存在关系，如下图。...图片形成这样的一个架构之后，我们的数据仓库的结构分层，和里面的数据表设计完成了，就可以进行同步和开发了。...需要数据仓库资料可以点击这个领取数据仓库(13)大数据数仓经典最值得阅读书籍推荐参考资料：数据仓库(01)什么是数据仓库，数仓有什么特点数据仓库(02)数仓、大数据与传统数据库的区别数据仓库(03)...数仓建模之星型模型与维度建模数据仓库(04)基于维度建模的数仓KimBall架构数据仓库(05)数仓Kimball与Inmon架构的对比数据仓库(06)数仓分层设计数据仓库(07)数仓规范设计数据仓库(...08)数仓事实表和维度表技术数据仓库(09)数仓缓慢变化维度数据的处理数据仓库(10)数仓拉链表开发实例数据仓库(11)什么是大数据治理，数据治理的范围是哪些数据仓库(12)数据治理之数仓数据管理实践心得数据仓库

1K1 0

一文带你认清数据仓库【维度模型设计】与【分层架构】

维度建模是专门应用于分析型数据库、数据仓库、数据集市建模的方法。数据集市可以理解为是一种"小型数据仓库"。 1.1 事实表发生在现实世界中的操作型事件，其所产生的可度量数值，存储在事实表中。...维度建模三种模式 2.1 星形模型星形模式(Star Schema)是最常用的维度建模方式。星型模式是以事实表为中心，所有的维度表直接连接在事实表上，像星星一样。...星形模式的维度建模由一个事实表和一组维度表成，且具有以下特点： a. 维表只和事实表关联，维表之间没有关联； b....2.3 星座模式星座模式是星型模式延伸而来，星型模式是基于一张事实表的，而星座模式是基于多张事实表的，而且共享维度信息。...前面介绍的两种维度建模方法都是多维表对应单事实表，但在很多时候维度空间内的事实表不止一个，而一个维表也可能被多个事实表用到。在业务发展后期，绝大部分维度建模都采用的是星座模式。 ?

1.5K4 1

大数据开发：数仓建模常见数据模型

在数据仓库搭建的过程当中，根据需求合理地选择数据模型，是非常关键的一个环节。对于数仓建模，很多人说不就是建表吗，哪有那么复杂，事实上，这是非常错误的思想。...维度建模，按数据组织类型，又可以划分为星型模型、雪花模型、星座模型。 ①星型模型星型模型主要是维表和事实表，以事实表为中心，所有维度直接关联在事实表上，呈星型分布。...星型模型可以理解为，一个事实表关联多个维度表，雪花模型可以理解为一个事实表关联多个维度表，维度表再关联维度表。 ③星座模型星座模型，是对星型模型的扩展延伸，多张事实表共享维度表。...星座模型是很多数据仓库的常态，因为很多数据仓库都是多个事实表的。所以星座模型只反映是否有多个事实表，他们之间是否共享一些维度表。...在大数据平台架构当中，数据仓库为后续的数据处理提供重要的支持，数仓建模的重要性不言而喻。

3.7K4 0

数仓分层理论_多元分层理论

数据仓库理论数据仓库四大特征面向主题：较高层次上企业信息系统中的数据综合、归类并进行分析利用的抽象概念。...4.选择事实，确定分析需要衡量的指标数据仓库分层数据仓库是指一整套的数据建模、ETL（数据抽取、转换、加载）、作业调度等在内的完整理论体系流程。...DWD（Data Warehouse Detail 细节数据层）：是业务层与数据仓库的隔离层。构建细粒度的明细层事实表。...数据仓库模型事实表与维度表事实表：包含数字数据，并且数字信息可以汇总。事实表的粒度决定了数仓中数据的详细程度。...事实星座事实星座共享维表的模式，也可以看做是星型模式的汇集，因而称为星系模型或事实星座模式。

7823 0

一篇文章搞懂数据仓库：四种常见数据模型（维度模型、范式模型等）

目录写在前面一、为什么要进行数据仓库建模？...系列文章详见「数仓系列文章- 传送门」一、为什么要进行数据仓库建模？...Kimball老爷爷维度建模四个步骤：选择业务处理过程 > 定义粒度 > 选择维度 > 确定事实 2.1.1 星型模型星型模型主要是维表和事实表，以事实表为中心，所有维度直接关联在事实表上，呈星型分布...星型模型可以理解为，一个事实表关联多个维度表，雪花模型可以理解为一个事实表关联多个维度表，维度表再关联维度表。 2.1.3 星座模型星座模型，是对星型模型的扩展延伸，多张事实表共享维度表。...星座模型是很多数据仓库的常态，因为很多数据仓库都是多个事实表的。所以星座模型只反映是否有多个事实表，他们之间是否共享一些维度表。

9.3K3 2

数据仓库专题（11）-可以作为维度表使用的事实表

KDT#13 可以作为维度表使用的事实表事实表从粒度的角度分为三种，分别是交易粒度事实表、周期快照事实表和累计快照事实表。交易粒度事实表能提供某个确切时刻的描述信息。...建立的交易粒度事实表如下所示：变更日期（FK）帐户号（SK）代理（FK）客户信息变更类型（FK）帐户号（NK）名称（文本事实）地址（文本事实）电话号码（文本事实）客户分类（文本事实）信用等级...（非可加性数字事实）风险等级（非可加性数字事实） ......这是一个典型的记录的度量事实都是文本型描述信息的事实表。这样的事实表和维度表之间的区别并不明显。这个事实表中有三个是关联到普通维度表的外键，分别是变更日期、代理和交易类型。...帐户号（SK）是帐户的代理键，也是这个事实表的主键，它标识了这个事实表中的每一次变化。我们可以将该事实表中的帐户号代理键做TYPE 2型缓慢变化维处理，并将它关联到其他事实表作为外键。

9712 0

点击加载更多

扫码

添加站长进交流群

领取专属 10元无门槛券

手把手带您无忧上云

扫码加入开发者社群

相关资讯

热门标签

活动推荐

运营活动

活动名称

广告关闭