什么是 OLAP 多维数据集？ 大多数 OLAP 系统的核心，OLAP 多维数据集是一个基于数组的多维数据库，与传统的关系数据库相比，它可以更快、更高效地处理和分析多个数据维度。...（代表三个以上维度的 OLAP 多维数据集有时称为超多维数据集。）更小的多维数据集可以存在于层内——例如，每个商店层可以包含按销售人员和产品安排销售的多维数据集。...OLAP 多维数据集支持四种基本类型的多维数据分析： 向下钻取 向下钻取操作通过以下两种方法之一将不太详细的数据转换为更详细的数据——在概念层次结构中向下移动或向多维数据集添加新维度。...OLAP 数据透视表功能与电子表格软件（如 Microsoft Excel）中的数据透视表功能相当，但虽然 Excel 中的数据透视表可能具有挑战性，但 OLAP 数据透视表相对更易于使用（需要较少的专业知识...MOLAP 与 ROLAP 与 HOLAP MOLAP 直接与多维 OLAP 多维数据集一起工作的 OLAP 称为多维 OLAP 或 MOLAP。
然后由OLAP分析工具对数据仓库中的大量数据进行分析处理，建立多维数据集，最后由报表工具、Excel工具和其他客户端工具将多维数据分析的结果和数据挖掘的结果展现给用户。...整个BI的流程如下图所示： 4.SQL Server中的BI组件 前面说到ETL、数据仓库、多维数据集、OLAP、数据挖掘、Report等，这些在Microsoft的产品线上都有对应的产品和组件。...这里借用一个介绍SQL Server 2005 BI的图，同样在SQL 2008的BI中适用： ETL工具就是SSIS集成服务，数据仓库是使用SQL Server数据库引擎，多维数据集是使用SSAS来存储的...还有就是Excel也支持数据挖掘。...Point Server Analystic（2007年12月之后） 6 多维数据分析(C/S)：Excel 2007 7 计划分析(C/S)：Performance Point
该多维产品建立了新概念，例如客户/服务器计算，关系数据的多维处理，工作组处理，面向对象的开发等。 1985年，Excel 1.0诞生。...微软在Excel中集成了数据透视表功能可能是Excel产品最重要的增强功能之一，因为数据透视表已成为多维分析中最流行和使用最广泛的工具。...1997年：PARIS Technologies推出PowerOLAP：集成电子表格和事务数据库，以便在电子表格应用程序（例如Excel）中即时更新数据。...一些MOLAP工具要求对数据进行预计算和存储，这样的MOLAP工具通常利用被称为“数据立方体”的预先计算的数据集。数据立方体包含给定范围的问题的所有可能答案。因此，它们对查询的响应非常快。...ROLAP工具不使用预先计算的多维数据集，而是对标准关系数据库及其表进行查询，以获取回答问题所需的数据。ROLAP工具具有询问任何问题的能力，因为该方法（SQL）不仅限于多维数据集的内容。
可扩展超快的基于大数据的分析型数据仓库: Hadoop ANSI SQL 接口: 交互式查询能力: 多维立方体（MOLAP Cube）: 实时 OLAP： 与BI工具无缝整合: 其他特性: 谁在使用 Kylin...Kylin 生态圈 Apache Kylin™ 概览 Apache Kylin™是一个开源的、分布式的分析型数据仓库，提供Hadoop/Spark 之上的 SQL 查询接口及多维分析（OLAP）能力以支持超大规模数据...Apache Kylin™ 令使用者仅需三步，即可实现超大数据集上的亚秒级查询。...可扩展超快的基于大数据的分析型数据仓库: Kylin 是为减少在 Hadoop/Spark 上百亿规模数据查询延迟而设计 Hadoop ANSI SQL 接口: 作为一个分析型数据仓库(也是 OLAP...多维立方体（MOLAP Cube）: 用户能够在 Kylin 里为百亿以上数据集定义数据模型并构建立方体 实时 OLAP： Kylin 可以在数据产生时进行实时处理，用户可以在秒级延迟下进行实时数据的多维分析
目录 1、OLAP和OLTP的区别 2、OLAP分类 3、OLAP基本操作 4、OLAP选型 ---- 1、olap和oltp的区别 OLTPOLAP对象业务开发人员分析决策人员功能日常事务处理面向分析决策模型关系模型多维模型数据量几条或几十条记录...＞百万于万条记录操作类型增、删、查、改(CRUD)查询为主总体概括联机事务处理在线分析处理 2、OLAP分类 MOLAP，基于多维数组的存储模型，也是OLAP最初的形态，特点是对数据进行预计算，以空间换效率...4、OLAP选型 druid 实时查询和分析的高容错、高性能开源分布式系统，用于解决如何在大规模数据集下进行快速的、交互式的查询和分析。 实时的数据消费，真正做到数据摄入实时、查询结果实时。...kylin 可扩展超快olap引擎，Hadoop/Spark上百亿数据规模 提供 Hadoop ANSI SQL 接口 交互式查询能力，用户可以与Hadoop数据进行亚秒级交互 百亿以上数据集构建多维立方体...（MOLAP CUBE） 与BI工具无缝整合，如Tableau，PowerBI/Excel，MSTR，QlikSense，Hue和SuperSet impala、presto...
一时间，BI数据可视化已呈现出"百家争鸣，群雄争霸"的态势！ 1.2 BI分类 统看业界可视化BI工具可大致分为：开源bi，商业bi，和传统重bi工具。...MOLAP，基于多维数组的存储模型，也是OLAP最初的形态，特点是对数据进行预计算，以空间换效率，明细和聚合数据都保存在cube中。但生成cube需要大量时间和空间。...Druid Druid是一个用于大数据实时查询和分析的高容错、高性能开源分布式系统，用于解决如何在大规模数据集下进行快速的、交互式的查询和分析。...基本特点 Apache Druid 具有以下特点： 亚秒级 OLAP 查询，包括多维过滤、Ad-hoc 的属性分组、快速聚合数据等等。 实时的数据消费，真正做到数据摄入实时、查询结果实时。...kylin特性： 可扩展超快olap引擎，Hadoop/Spark上百亿数据规模 提供 Hadoop ANSI SQL 接口 交互式查询能力，用户可以与Hadoop数据进行亚秒级交互 百亿以上数据集构建多维立方体
最大的应用场景，除了从其他Olap里查询数据以外，其实在咱们微软系自家，MDX也是可以使用的，包括使用PowerBI表格式建模亦然。...对olap数据消费一个重大战场是在Excel上，而Excel天然地支持并且也是原生功能唯一的支持方式使用MDX向模型层发起查询（Excel催化剂以插件的方式增强了Excel以DAX方式访问PowerBI...Excel环境下使用MDX查询定制透视表 在Excel透视表连接PowerBI模型（广义，含AzureAS/Sqlserver SSAS），用的就是MDX查询。...并且Excel已经在界面上做了很大的优化，可以轻松地加工出自己需要的个性化的计算度量值、计算成员和成员集。...在Excel上的体验很无敌。 计算度量值，也是可以界面辅助拖拉操作。 类似传统透视表的计算成员效果，可以在olap多维模型里，自己增加一些维度成员并计算结果。
OLAP 这个词从字面上理解是在线分析的意思，也就是由人员面对数据进行各种交互式的分析操作。但是，现在的OLAP 概念被 BI 软件给严重狭义化了。...面向业务分析时说到 OLAP，在技术上经常就只有多维分析的功能，也就是针对一个事先建设好的数据立方体，按指定维度层次进行汇总并呈现成表格或图形，再辅以钻取、聚合、旋转、切片等操作以变换维度层次及汇总范围...多维分析就是在线分析的全部吗？我们来考察这样一种数据分析过程。...近年来流行的敏捷 BI 产品在操作的流畅性和界面的炫丽度都较早期 OLAP 产品有较大的提升，但本质计算功能并没有增长多少，还是在做多维分析，该不能算的还是不能算。...但是，多维分析却得不到前述例子中我们希望从数据中获得的规律性结论，而毕竟有了规律性结论才能预测并指导工作。从这个意义上讲，把在线分析仅仅理解成多维分析是不完整的。
应尽量多地预先计算聚合结果，在查询时刻应尽量使用预算的结果得出查询结果，从而避免直接扫描可能无限增长的原始记录，预计算系统是在入库时对数据进行预聚合，进一步牺牲灵活性换取性能，以实现对超大数据集的秒级响应...Apache Kylin是一个开源的、分布式的分析型数据仓库，提供Hadoop/Spark/Flink 之上的 SQL 查询接口及多维分析（OLAP）能力以支持超大规模数据，通过预计算它能在亚秒内查询巨大的表...设计架构 附注1 Mondrian为一个OLAP引擎，而且是一个ROLAP引擎，实现了以下规范： MDX(多维查询语言，相当于数据库的SQL) XMLA(通过SOAP使用OLAP) olap4j(Java...状态 禁用(Disabled) 只有定义，没有构建数据 错误(ERROR) 报错并停止后续执行 准备(Ready) 构建完成可以提供查询服务。...构建(Build) 全量构建，增量构建采用 刷新(Refresh) 对相应分区(Segment)历史数据进行重建 合并(Merge) 合分区(Segment)，提高查询性能 数据查询 Cube构建好以后
应尽量多地预先计算聚合结果，在查询时刻应尽量使用预算的结果得出查询结果，从而避免直接扫描可能无限增长的原始记录，预计算系统是在入库时对数据进行预聚合，进一步牺牲灵活性换取性能，以实现对超大数据集的秒级响应...Apache Kylin是一个开源的、分布式的分析型数据仓库，提供Hadoop/Spark/Flink 之上的 SQL 查询接口及多维分析（OLAP）能力以支持超大规模数据，通过预计算它能在亚秒内查询巨大的表...附注 Mondrian为一个OLAP引擎，而且是一个ROLAP引擎，实现了以下规范： MDX(多维查询语言，相当于数据库的SQL) XMLA(通过SOAP使用OLAP) olap4j(Java API...状态 禁用(Disabled) 只有定义，没有构建数据 错误(ERROR) 报错并停止后续执行 准备(Ready) 构建完成可以提供查询服务。...构建(Build) 全量构建，增量构建采用 刷新(Refresh) 对相应分区(Segment)历史数据进行重建 合并(Merge) 合分区(Segment)，提高查询性能 数据查询 Cube构建好以后
Data Sources 数据源 Excel是一种灵活，易于使用的电子表格，通常用于创建数据集。...因此，Excel文件通常用作Power BI和Tableau的数据源。 Tableau支持数百种数据连接器，包括在线分析处理（OLAP）和大数据（例如NoSQL，Hadoop）以及云数据。...当深入到数据集进行分析时，Power BI确实设置了3500个数据点限制。...Excel，Tableau和Power BI允许用户合并API并利用数据创建醒目的可视化效果。 5. Dashboards 仪表盘 Excel提供了有限的创建仪表板功能，刷新过程繁琐。...从Analysis Services多维数据集中导入数据时，也可以手动生成MDX查询。 但什么是MDX？MDX代表多维表达式，是OLAP数据库的查询语言。
缺点是它不是基于OLAP的BI报告工具，它不支持多维报告操作，例如基于同一维度的钻取表，需要通过链接才能实现多个表的展示；同时，由于做表前要通过sql语句锁定和加载分析的源数据，因此数据库的性能无法得到充分利用...也由于这些报告中的这些缺陷，润乾的新一代产品集算器定位于源数据库和报告之间的中间层，并致力于解决从数据库到报告的计算性能问题。...基于OLAP技术，BI工具本身无法提供数据修改和与补充记录相关的功能，并且在这种情况下扩展了外部工具。...Tableau的最初产品定位是替换Excel。单机用户可以在本地完成各种快速的设计和分析操作，重点是与数据的交互以及与各种分析方法的操作交互。由于其定位问题，此类工具自然无法生成各种复杂的统计报告。...但由于其在OLAP技术上的经验很少，还是需要把分析数据打包成的专用数据包，然后BI工具基于专用数据包进行分析，这个专用数据包的作用相当于帆软自有的数据分析模型（类似于OLAP数据库或者cube的作用），
说到OLAP，基本上仅指多维分析，也就是针对一个事先建设好的数据立方体，按指定维度层次进行汇总并呈现成表格或图形，再辅以钻取、聚合、旋转、切片等操作以变换维度层次及汇总范围。...更广义的OLAP过程 多维分析就是在线分析的全部吗？ 我们来考察这样一种数据分析过程。...但是，多维分析却得不到前述例子中我们希望从数据中获得的规律性结论，而毕竟有了规律性结论才能预测并指导工作。从这个意义上讲，把在线分析仅仅理解成多维分析是不完整的。 我们需要怎样的OLAP？...另外，这里需要计算的数据都是批量的结构化数据，而非简单的数值，区别于普通数值计算器，可以把这个功能形象地称为数据计算器。Excel在一定程度上就拥有这种能力，使得它事实上成为应用最广泛的桌面BI工具。...不过Excel对于多层次数据和有规则操作支持还不够好，难以完成前述例子中的计算过程。 那么，该如何妥善地提供这两个功能呢？
1、olap准则 准则1 OLAP模型必须提供多维概念视图 准则2 透明性准则 准则3 存取能力准则 准则4 稳定的报表能力 准则5 客户/服务器体系结构 准则6 维的等同性准则 准则7 动态的稀疏矩阵处理准则...而Kylin自身就是一个MOLAP系统，多维立方体（MOLAP Cube）的设计使得用户能够在Kylin里为百亿以上数据集定义数据模型并构建立方体进行数据的预聚合。...Apache Kylin™是一个开源的分布式分析引擎，提供Hadoop/Spark之上的SQL查询接口及多维分析（OLAP）能力以支持超大规模数据，最初由eBay Inc. 开发并贡献至开源社区。...每当新的记录/文件被添加到HDFS中的数据目录时，该表需要被刷新。这个缺点会导致正在执行的查询sql遇到刷新会挂起，查询不动。...借助MPP架构，在大型数据集上执行复杂SQL分析的速度比很多解决方案都要快。
此类报表工具的优势是开发比较灵活，同时含数据填报和补录功能；不足是非基于OLAP的BI报表工具，导致不支持基于多维的报表操作，比如基于同一维度的钻取表，就需要做多张表，通过链接的方式来实现；同时，由于做表前要通过...也正因为此类报表这些不足，润乾新一代产品集算器定位在源数据库与报表的中间层，致力于解决数据库到报表的计算性能问题。...国外有代表性的是Tableau，Tableau一开始的产品定位就是为了替代Excel，单机用户在本地完成各种快速的设计与分析操作，重点强调与数据的互动，以及各种分析方式的操作互动。...但由于其在OLAP技术上的经验很少，还是需要把分析数据打包成的专用数据包，然后BI工具基于专用数据包进行分析，这个专用数据包的作用相当于帆软自有的数据分析模型（类似于OLAP数据库或者cube的作用），...直到最近，其才发布能够直连OLAP数据库的引擎，相关能力还需要项目上的进一步验证。
用户的决策分析需要对关系数据库进行大量计算才能得到结果，而查询的结果并不能满足决策者提出的需求。因此，Codd提出了多维数据库和多维分析的概念，即OLAP。...OLAP的目标是满足决策支持或多维环境特定的查询和报表需求，它的技术核心是"维"这个概念，因此OLAP也可以说是多维数据分析工具的集合。...而Kylin自身就是一个MOLAP系统，多维立方体（MOLAP Cube）的设计使得用户能够在Kylin里为百亿以上数据集定义数据模型并构建立方体进行数据的预聚合。...每当新的记录/文件被添加到HDFS中的数据目录时，该表需要被刷新。这个缺点会导致正在执行的查询sql遇到刷新会挂起，查询不动。...索引 使用ClickHouse也有其本身的限制，包括： 缺少高频率，低延迟的修改或删除已存在数据的能力。
数据仓库用来管理企业庞大的数据集，提供转换数据、移动数据并将其呈现给终端用户的存储机制。...但是创建数据集市层需要额外的硬件资源，并集成它与数据平台其他的数据库。 三层架构（OLAP） 在数据集市层之上，我们通常会使用联机分析（OLAP）处理多维数据集（cube）。...OLAP 数据集是一类从多维度描述数据的特定数据库。关系型数据库只能表示二维数据，而 OLAP 允许在多维度下编译数据并且在维度之间移动。...OLAP 的业务价值在于允许对数据进行切片、切片以多维度分析，以提供对所有企业数据或特定数据集市的访问，现在基本已成为主流的架构应用。...分析型BI基于多维数据库的概念，能多维视角分析数据，通常是从数据仓库中抽取详细数据的一个子集并经过必要的聚集存储到OLAP存储器中供前端BI分析工具读取。
Kylin的介绍 Apache Kylin是一个开源的大数据分布式分析引擎，提供Hadoop之上的SQL查询接口及多维分析（OLAP）能力（可以把Kylin定义为OLAP on Hadoop）。...Apache Kylin作为OLAP引擎包含了从数据源（Hive／Kafka等）获取源数据，基于MapReduce构建多维立方体(Cube)，并充分利用HBase的列式特性来分布式的存储立方体数据，提供标准...kylin支持标准的ANSI SQL ，所以可以和常用分析工具（如superset，Excel等）进行无缝连接。...2 ）：存储模块HBase HBase时kylin中用来存储OLAP分析的Cube数据的地方，实现多维数据集的交互查询 3 ）：Kylin内部核心模块 REST Server ：提供了Restful 接口...，用户可以与Hadoop数据进行亚秒级交互，在同样的数据集上提供比Hive更好的性能 - 多维立方体（MOLAP Cube）: 用户能够在Kylin里为百亿以上数据集定义数据模型并构建立方体 - 与BI
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
即时通信 IM
ICP备案
云直播
实时音视频
