版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/wzy0623/article/details/51943736
开始本章翻译时，是5月初。当时并不知道平平无奇的5月Power BI会带来一大波更新，尤其是大杀器“字段参数”（字段参数参考文章）。
作者David Durant，2011/07/13 关于系列 本文属于Stairway系列：Stairway to SQL Server Indexes 索引是数据库设计的基础，并告诉开发人员使用数据库关于设计者的意图。 不幸的是，当性能问题出现时，索引往往被添加为事后考虑。 这里最后是一个简单的系列文章，应该使他们快速地使任何数据库专业人员“快速”。 ---- 前面的级别引入了聚簇和非聚簇索引，突出了以下各个方面： 表中每一行的索引总是有一个条目（我们注意到这个规则的一个例外将在后面的级别中进行讨论）。
在数据仓库环境中，我们通常利用物化视图强大的查询重写功能来提升统计查询的性能，但是物化视图的查询重写功能有时候无法智能地判断查询中一些相关联的条件，以至于影响性能。比如我们有一张销售表sales，用于存储订单的详细信息，包含交易日期、顾客编号和销售量。我们创建一张物化视图，按月存储累计销量信息，假如这时候我们要查询按季度或者按年度统计销量信息，Oracle是否能够智能地转换查询重写呢？我们知道交易日期中的日期意味着月，月意味着所处的季度，季度意味着年度，但是Oracle却是无法智能地判断这其中的关系，因此无法利用物化视图查询重写来返回我们季度或年度的销量信息，而是直接查询基表，导致性能产生问题。
单个物理维度可以被事实表多次引用，每个引用连接逻辑上存在差异的角色维度。例如，事实表可以有多个日期，每个日期通过外键引用不同的日期维度，原则上每个外键表示不同的日期维度视图，这样引用具
前面文章中，我们用Kettle工具实现了Hadoop多维数据仓库的基本功能，如使用Sqoop作业项、SQL脚本、Hadoop file output、ORC output等步骤实现ETL过程，使用Oozie、Start作业项定期执行ETL任务等。本篇将继续讨论常见的维度表技术，以最简单的“增加列”开始，继而讨论维度子集、角色扮演维度、层次维度、退化维度、杂项维度、维度合并、分段维度等基本的维度表技术。这些技术都是在实际应用中经常使用的。在说明这些技术的相关概念和使用场景后，我们以销售订单数据仓库为例，给出Kettle实现和测试过程。
我们将使用三个时间序列模型，它们是使用python建立的超级商店数据集(零售行业数据)。我们将使用jupyter notebook 来构建我们的python代码，然后转移到Tableau。
前面章节中，我们实现了实时多维数据仓库的基本功能，如使用Canal和Kafka实现实时数据同步，定义Greenplum rule执行实时数据装载逻辑等。本篇将继续讨论常见的维度表技术。
发布者：全栈程序员栈长，转载请注明出处：https://javaforall.cn/163896.html原文链接：https://javaforall.cn
（五）进阶技术 4. 角色扮演维度 当一个事实表多次引用一个维度表时会用到角色扮演维度。例如，一个销售订单有一个是订单日期，还有一个交货日期，这时就需要引用日期维度表两次。 本篇将说明两类角色扮演维度的实现，分别是表别名和数据库视图。这两种都使用了MySQL的功能。表别名是在SQL语句里引用维度表多次，每次引用都赋予维度表一个别名。而数据库视图，则是按照事实表需要引用维度表的次数，建立相同数量的视图。 修改数据库模式 使用清单（五）-4-1里的SQL脚本修改数据库模式。分别给数据仓库里的事实表sales_order_fact和源数据库中订单销售表sales_order增加request_delivery_date_sk和request_delivery_date列。图（五）- 4-1 显示了修改后的模式。
Greenplum数据库数据库支持Postgres索引类型B-树和GiST，不支持Hash和GIN索引
那么我们基本上可以得出结论了：数据表是由子类别和年度组合构成，把每年的子类别对应的销售额放进去，通过筛选年度切片器，达到选择不同年份时显示不同的销售额。
原始数据如下，主要有水果蔬菜名称、销售日期、销售数量、平均价格、平均成本、总收入、总成本、总利润等。
greenplum Schema 是 Database中逻辑组织object和data。 在同一Database中，不同schema的对象可以使用相同的名称。
OushuDB表由行（rows）和（columns）组成。每一个列有一个列名和一个数据类型，一个表的列数和列的顺序是固定的。一个表的行数是可变的。SQL并不假设表中行的顺序。当读一个表时，除非显示要求排序，返回的行会以任意顺序出现。另外，SQL并不给每一行一个唯一标志符，所以，一个表中具有同样几个同样的行是可能的。
免费物品可以是订货数量中的一部分，不包含在invoice中，叫做inclusive bonus quantity；订货和免费物品都包括同样的物料，免费物品和订货的数量单位必须一致。
窗口函数（Window Functions）是SQL标准中的一个高级特性，它允许用户在不改变查询结果集行数的情况下，对每一行执行聚合计算或其他复杂的计算。这些计算是基于当前行与结果集中其他行之间的关系进行的。窗口函数特别适用于需要执行跨多行的计算，同时又想保持原始查询结果集的行数不变的场景。
（五）进阶技术 5. 快照 前面实验说明了处理维度的扩展。本篇讨论两种事实表的扩展技术。 有些用户，尤其是管理者，经常会要看某个特定时间点的数据。也就是说，他们需要数据的快照。周期快照和累积快照是两种处理事实表扩展的技术。 周期快照是在一个给定的时间对事实表进行一段时期的总计。例如，一个月销售订单周期快照是每个月底时总的销售订单金额。 累积快照用于跟踪事实表的变化。例如，数据仓库可能需要累积（存储）销售订单从下订单的时间开始，到订单中的商品被出库、运输和到达的各阶段的时间点数据来跟踪订单生命周期的进展情况。用户可能要取得在某个给定时间点，销售订单处理状态的累积快照。 下面说明周期快照和累积快照的细节问题。 周期快照 本节以销售订单的月底汇总为例说明如何实现一个周期快照。 首先需要添加一个新的事实表。图（五）- 5-1中的模式显示了一个名为month_end_sales_order_fact的新事实表。该表中有两个度量值，month_order_amount和month_order_quantity，这两个值是不能加到sales_order_fact表中的。不能加到sales_order_fact表中的原因是，sales_order_fact表和新的度量值有不同的时间属性（数据的粒度不同）。sales_order_fact表包含的是每天一条记录。新的度量值要的是每月的数据。使用清单（五）- 5-1里的脚本建立month_end_sales_order_fact表
Prophet是Facebook 开源一款基于 Python 和 R 语言的数据预测工具。Facebook 表示，Prophet 相比现有预测工具更加人性化，并且难得地提供 Python 和R的支持。它生成的预测结果足以和专业数据分析师媲美。
随着表的不断增大，对于新纪录的增加、查找、删除等(DML)的维护也更加困难。对于数据库中的超大型表，可通过把它的数据分成若干个小表，从而简化数据库的管理活动。对于每一个简化后的小表，我们称为一个单个的分区。
MySQL索引的建立对于MySQL的高效运行是很重要的，索引可以大大提高MySQL的检索速度。
SQL是英文Structured Query Language的缩写，意思为结构化查询语言。SQL语言的主要功能就是同各种数据库建立联系，进行沟通。按照ANSI（美国国家标准协会）的规定，SQL被作为关系型数据库管理系统的标准语言。SQL语句可以用来执行各种各样的操作，例如更新数据库中的数据，从数据库中提取数据等。目前，绝大多数流行的关系型数据库管理系统，如Oracle, Sybase, Microsoft SQL Server, Access等都采用了SQL语言标准。虽然很多数据库都对SQL语句进行了再开发和扩展，但是包括Select, Insert, Update, Delete, Create,以及Drop在内的标准的SQL命令仍然可以被用来完成几乎所有的数据库操作。下面，我们就来详细介绍一下SQL语言的基本知识。
一、SQL速成 结构查询语言(SQL)是用于查询关系数据库的标准语言，它包括若干关键字和一致的语法，便于数据库元件(如表、索引、字段等)的建立和操纵。 以下是一些重要的SQL快速参考，有关SQL的语法和在标准SQL上增加的特性，请查询MySQL手册。 1．创建表 表是数据库的最基本元素之一，表与表之间可以相互独立，也可以相互关联。创建表的基本语法如下： create table table_name (column_name data无效 {identity |null|not null}， …) 其中参数table_name和column_name必须满足用户数据库中的识别器(identifier)的要求，参数data无效是一个标准的SQL类型或由用户数据库提供的类型。用户要使用non-null从句为各字段输入数据。 create table还有一些其他选项，如创建临时表和使用select子句从其他的表中读取某些字段组成新表等。还有，在创建表是可用PRIMARY KEY、KEY、INDEX等标识符设定某些字段为主键或索引等。 书写上要注意： 在一对圆括号里的列出完整的字段清单。 字段名间用逗号隔开。 字段名间的逗号后要加一个空格。 最后一个字段名后不用逗号。 所有的SQL陈述都以分号";"结束。 例： mysql> CREATE TABLE test (blob_col BLOB， index(blob_col(10)));
版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/wzy0623/article/details/51783410
下表是MySQL常见的存储引擎InnoDB，MyISAM和Memory分别支持的索引类型
Oracle 数据库是一种功能强大的关系型数据库管理系统，但在处理大量数据时，性能问题可能会成为一个挑战。为了提高数据库的响应速度和效率，我们可以采取一系列的优化措施。本文将重点介绍表分区技术，以提升 Oracle 数据库的性能。
售前活动Pre-Sales Activities（客户询、报价）--> 销售订单处理sales order processing（产生销售订单）-->货源决定Inventory Sourcing（从delivering plant供货还是第三方供货商？哪一个？）-->发货shipping（交货） -->销售发票Billing（开票）-->付款payments（清账，Post）。
1.表空间及分区表的概念 2.表分区的具体作用 3.表分区的优缺点 4.表分区的几种类型及操作方法 5.对表分区的维护性操作.
本文总结了使用ETL处理大数据技术进行数据仓库建设的过程，包括数据提取、转换和加载（ETL）过程的构建和部署。主要介绍了ETL处理大数据的几种方法和技术，重点讲解了Apache NiFi和Talend这两个流行的开源ETL工具在大数据环境中的使用。
当业务人员创建一张订单时，系统能够决定基于客户要求的delivery date的物料可用日期；需要交货的货物必须在该时点及时可用于shipping。
作者：shuaibing90 来源：www.xysycx.cn/articles/2020/12/05/1607146183637.html
以前总是追求新东西，发现基础才是最重要的，今年主要的目标是精通SQL查询和SQL性能优化。 本系列【T-SQL基础】主要是针对T-SQL基础的总结。 概述： 本篇主要是对表表达式中视图和内联表值函数
五、快照 前面实验说明了处理维度的扩展。本节讨论两种事实表的扩展技术。 有些用户，尤其是管理者，经常要看某个特定时间点的数据。也就是说，他们需要数据的快照。周期快照和累积快照是两种常用的事实表扩展技术。 周期快照是在一个给定的时间对事实表进行一段时期的总计。例如，一个月销售订单周期快照汇总每个月底时总的销售订单金额。 累积快照用于跟踪事实表的变化。例如，数据仓库可能需要累积（存储）销售订单从下订单的时间开始，到订单中的商品被打包、运输和到达的各阶段的时间点数据来跟踪订单生命周期的进展情况。用户可能要取得在某个给定时间点，销售订单处理状态的累积快照。 下面说明周期快照和累积快照的细节问题。 1. 周期快照 下面以销售订单的月底汇总为例说明如何实现一个周期快照。 首先需要添加一个新的事实表。下图中的模式显示了一个名为month_end_sales_order_fact的新事实表。
Delivery type控制整个的交货，我们可以在delivery header中看到delivery type；
ClickHouse是一款开源的分布式列式存储数据库管理系统，广泛用于大型数据分析和数据仓库场景。作为一种列式存储数据库，ClickHouse采用了一些高效的数据结构来实现主键索引，并通过一系列优化技术来提升查询性能。本文将介绍ClickHouse主键索引的存储结构以及一些查询性能优化方法。
本文为大家介绍了如何在Python中使用由Facebook开发的Prophet库进行自动化的时间序列预测，以及如何评估一个由Prophet库所搭建的时间序列预测模型的性能。
该文介绍了在数据库中如何使用分区表来提高查询性能和节省存储空间。文章首先介绍了分区表的概念和作用，然后详细描述了如何创建分区表、使用SQL语句查询分区表以及管理分区表。此外，文章还提供了在HAWQ中实现分区滚动升级的方法，并通过实例展示了该方法的实现过程。
在我们日常处理海量数据的过程中，如何有效管理和优化数据库一直是一个既重要又具有挑战性的问题。
上一篇里介绍了几种基本的维度表技术，并用示例演示了每种技术的实现过程。本篇说明多维数据仓库中常见的事实表技术。我们将讲述五种基本事实表扩展技术，分别是周期快照、累积快照、无事实的事实表、迟到的事实和累积度量。和讨论维度表一样，也会从概念开始认识这些技术，继而给出常见的使用场景，最后以销售订单数据仓库为例，给出实现代码和测试过程。
一，创建外向交货单的选项Options for Creating Outbound Deliveries
数据仓库中的关联实体经常表现为一种“父—子”关系。在这种类型的关系中，一个父亲可能有多个孩子，而一个孩子只能属于一个父亲。例如，通常一名企业员工只能被分配到一个部门，而一个部门会有很多员工。“父—子”之间形成一种递归型树结构，是一种比较理想和灵活的存储层次关系的数据结构。本小节说明一些递归处理的问题，包括数据装载、树的展开、递归查询、树的平面化等技术实现。销售订单数据仓库中没有递归结构，为了保持示例的完整性，将会使用另一个与业务无关的通用示例。
近日有朋友发来几道SQL题，说是面试时遇到的。拿到题目一看，确实和一般的SQL题不太一样，还是有点小技巧在的，对于没有工作经验的新手来说，能写出一道题的有一小部分，能写出2道的就不多了。
分区的功能不是在存储引擎层实现的。因此不只是InnoDB才支持分区。MyISAM、NDB都支持分区操作。
在MySQL 8之前，当你不再需要某个索引时，你必须显式地删除它。然而，在某些情况下，你可能不确定删除索引是否会对查询性能产生负面影响。为了解决这个问题，MySQL 8引入了隐藏索引的特性。隐藏索引允许你将索引设置为不可见，而不是完全删除它。这样，你可以在不实际删除索引的情况下评估查询的性能。如果发现性能下降，你可以轻松地使索引再次可见。
版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/wzy0623/article/details/80281643
描述:主要学习数据库的DDL数据库定义语言，比如CREATE , DROP, ALTER 等等:
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
