针对于不断新增的海量数据资源，企业需要通过及时地数据分析处理，才能从中挖掘出价值线索，反哺业务，实现数据驱动业务发展。而企业级的数据分析场景，多是采用OLAP数据分析引擎。...今天的大数据开发分享，我们就主要来讲讲主流的几个OLAP开源数据分析引擎。...对于企业而言，想要控制成本，那么选择开源框架进行开发是不二之选，而在OLAP数据分析领域，开源的技术框架是非常多的，而各个框架各有优缺点，最终还是需要结合到实际需求去进行技术选型。...Clickhouse Clickhouse是俄罗斯开源的一款列式数据库，在做数据分析时可直接选择某几列来作为分析属性，获取数据非常快，延迟低。...Kylin的优点就是简单、快速，缺点就是可选数据分析维度太多。 关于大数据开发，OLAP开源数据分析引擎，以上就对主流的一些产品做了基本的介绍了。
文章目录 一、数据仓库 和 联机分析处理 技术 简介 二、OLAP 联机分析处理 引入 三、OLAP 联机分析处理 概念 四、OLAP 联机分析处理 特点 五、OLAP 与 OLTP 区别 一、数据仓库...和 联机分析处理 技术 简介 ---- 数据仓库 ( Data Warehousing ) 和 联机分析处理 ( OLAP ) 技术 简介 : 多维数据模型 ( Multi-dimension Data...和 统计分析 需求 ; 多维性 : 提供 数据 多维视图 和 分析 , 支持 维层次 , 多重维层次 ; 及时性 : 有效管理海量信息 , 不管 数据量有多大 , 数据存储在什么位置 , OLAP 总能及时获取信息...Analytical Processing ) 联机分析处理 : 数据分析处理 , 以 数据仓库 为基础 ; OLTP 提供 对 OLAP 的数据支持 : OLAP 中的 历史数据 , 导出数据 ,...; 如 : 统计数据 , 进行预综合处理 时 , 建立 不同粒度 , 不同级别的 统计数据 , 满足 OLAP 系统 快速分析查询的要求 ; 前端界面 : OLAP 的前端界面风格 和 数据访问方式
目前主流的OLAP数据库计算层架构有Master-Slave和Master-Master两种形态，但大多数选择的是Master-Slave架构，Master-Slave有助于控制流和计算流的分离，更简单的部署方式...（Master集成元数据）等优势，下面是关于各个数据库或数据仓库产品的调研结果。...Frontend（FE），主要负责用户请求的接入、查询解析规划、元数据的管理、节点管理相关工作。Backend（BE），主要负责数据存储、查询计划的执行。...REST.Presto Coordinator：用于提交查询并管理跨 Presto Worker 的解析、计划和调度查询执行Presto Worker：处理查询，添加更多的worker可以让您更快地处理查询从以上的分析中可以看出...一般每个数据节点都要安装一个imapald进程，这样impala可以查询本机的数据，实现数据本地性，减少网络IO。statestored进程用于维护特定消息的发布订阅服务，用于在集群中广播一些消息。
ClickHouse技术背景 ClickHouse是基于MPP架构的分布式ROLAP（Relational OLAP）分析引擎。采用C++编写，自成一套体系，对第三方工具依赖少。...采用数据压缩和纯粹的列式存储技术，使用Mergetree对每一列单独存储并压缩分块。 同时数据总会以片段的形式写入磁盘，当满足一定条件后ClickHouse会通过后台线程定期合并这些数据片段。...当数据量持续增大，ClickHouse，会针对分区目录的数据进行合并，提高数据扫描的效率。 同时ClickHouse针对每个数据块，提供稀疏索引。...如果数据量和访问量较大，需要部署分布式ClickHouse集群，这时候对运维的挑战会比较高。 关于大数据开发，OLAP分析引擎ClickHouse架构解析，以上就为大家做了简单的介绍了。...ClickHouse作为一款比较新的OLAP引擎，根基不算深厚，但是性能强劲还是没话说的。
在OLAP分析引擎领域，Apache Kylin可以说是一个重要的成员，相比于大规模并行处理指导思想下的Hive、Presto等组件，Apache Kylin采取了新的计算模式，提供不同的解决方案。...今天的大数据开发分享，我们就主要来讲讲OLAP分析引擎Apache Kylin入门。...①数据仓库 数据仓库简单来说，就是将不同数据源的数据整合到一起，通过多维分析等方式为企业提供决策支持和报表生成。...②OLAP OLAP（Online Analytical Process），联机分析处理，以多维度的方式分析数据，一般带有主观的查询需求，多应用在数据仓库。...关于大数据开发，OLAP分析引擎Apache Kylin入门，以上就为大家做了简单的介绍了。在OLAP分析引擎领域，Apache Kylin值得一学，有时间可以多多去深入一下。
OLAP数据库图片ClickHouseClickHouse 是基于 MPP 架构的分布式 ROLAP分析引擎，真正的列式数据库管理系统。...让查询变得更快，最简单且有效的方法是减少数据扫描范围和数据传输时的大小， 而clickhouse的数据始终是按列存储的，同时使用了数据压缩，和日志合并树，稀疏索引和 CPU 功能架构ZooKeeper：...优点写入吞吐量大， 50-200 M/S数据压缩空间大，减少IO，占用更少的内存和cpu，服务器成本低查询快，比HIVE快200倍以上支持SQL，支持繁多数据统计分析函数，字段类型支持数组和嵌套数据结构支持线性扩展...Presto 本身不存储数据，但是可以接入多种数据源，且支持跨数据源的级联查询。...是CDH 平台首选的 PB 级大数据实时查询分析引擎DruidDruid更适合优化大型集群的基础架构成本
在大数据领域里，经常会看到例如数据挖掘、OLAP、数据分析等等的专业词汇。如果仅仅从字面上，比较难描述每个词汇的意义和区别。...从数据本身的复杂程度、以及对数据进行处理的复杂度和深度来看，可以把数据分析分为以下4个层次：数据统计，OLAP，数据挖掘，大数据。...[图片] 传统的查询和报表工具是告诉你数据库中有什么(What happened) 三、OLAP 联机分析处理(On-Line Analytical Processing，OLAP)是指基于数据仓库的在线多维统计分析...[图片] OLAP更进一步告诉你下一步会怎么样(What next)，如果我采取这样的措施又会怎么样(What if) 四、数据挖掘 数据挖掘是指从海量数据中找到人们未知的、可能有用的、隐藏的规则，可以通过关联分析...[图片] 总结 从数据分析的角度来看，目前绝大多数学校的数据应用产品都还处在数据统计和报表分析的阶段，能够实现有效的OLAP分析与数据挖掘的还很少，而能够达到大数据应用阶段的非常少，至少还没有用过有效的大数据集
大数据OLAP常用的技术 大规模并行处理： 可以通过增加机器的方式来扩容处理速度， 在相同的时间里处理更多的数据。...image.png 数据组织方式 传统OLAP根据数据存储组织方式的不同分为 ROLAP（relational olap）以及 MOLAP（multi-dimension olap） ROLAP...MOLAP 将分析用的数据物理上存储为多维数组的形式， 形成CUBE结构。...Druid 支持低延时的数据摄取，灵活的数据探索分析， 高性能的数据聚合，简便的水平扩展。 适用于数据量大，可扩展能力要求高的分析型查询系统。...Druid保证数据实时写入，但查询上对SQL支持的不够完善 MPP 和 预计算的 方式差异： MPP非常灵活， 其数据是基于数据表的分析， 支持数据实时导入实时分析， 并且可以查询任意想要查询的数据
OLAP数据库初探 |0x00 OLAP简介 OLAP的标准概念叫作“联机分析处理系统”，与之对应的是OLTP“联机事务处理系统”。...有感于此，关系数据库之父Codd便在1993年提出了OLAP的概念，认为用户的很多决策需要依赖大量的计算与多维的分析才能解决，并作为一类单独的产品，与OLTP区分开来。...OLAP委员会对联机分析处理的定义为：从原始数据中转化出来的、能够真正为用户所理解的、并真实反映企业多维特性的数据称为信息数据，使分析人员、管理人员或执行人员能够从多种角度对信息数据进行快速、一致、交互地存取...可以说，OLAP的核心特点是“多维”，OLAP技术也可以称之为“多维度数据分析工具”。...综上所述，OLAP系统强调了数据分析在系统中的重要性，对于速度等要求有着极高的要求。
一、Presto概述 1、Presto简介 Presto是一个开源的分布式SQL查询引擎，适用于交互式分析查询，数据量支持GB到PB字节，Presto虽然具备解析SQL的能力，但它并不属于标准的数据库范畴...Presto支持在线数据查询，包括Hive，关系数据库以及专有数据存储。...一条Presto查询可以将多个数据源的数据进行合并，可以跨越整个组织进行分析，Presto主要用来处理响应时间小于1秒到几分钟的场景。...Coordinator节点 Coordinator服务器是用来解析查询语句，执行计划分析和管理Presto的Worker结点，跟踪每个Work的活动情况并协调查询语句的执行。...数据源适配 Presto可以适配多种不同的数据源，可以和数据源连接和交互，Presto是通过表的完全限定名处理table，Catalog对应类数据源，Schema对应数据库，Table对应数据表。
大数据OLAP系统比较 结论 选择presto和clickhouse配合使用 对实时性要求不严格的数据用presto查询 对于实时性有要求的数据查询clickhouse 理由： 核心原因：clickhouse...)，clickhouse在小规模集群上表现优于Druid和Pinot presto的综合性能好，在join操作时表现较好，保持目前数仓的这一套不变 OLAP整体情况 目前的大数据OLAP系统都是部分优化的...，偏向于定制化系统，典型的是Clickhouse的不同表级engine 建立一个能够cover绝大多数情况的通用的大数据OLAP系统预计还需要100年 目前所有的OLAP系统都是基于两种思路设计 列式数据库加索引...lianjia-data-analysis-apache-kylin 典型的空间换时间：维度优化，预计算的结果需要存储到 Hbase 优势： 都已经预先计算好了，性能啥的都不会有啥问题 主要针对hive的离线数据做分析...数据库，是一个基于关系数据库的分析服务器 查询瓶颈仍然在底层的存储层的查询效率，只是对于动态多维度分析做了优化 通过xml而不是sql查询 OLAP in zaihui 现状： Clickhouse的单表查询速度确实非常非常快
突发看到一篇文章说OLAP已死的，心想这又是谁在语不惊人死不休。顺手点进去看了眼发现某名奇妙的Apache Druid 就被Diss了。...我说大哥，Apache Druid和Apache Kylin都是搞OLAP的，我以为你这文章是给OLAP站台的,科普一下啥叫空间换时间和数据立方体的意义和学术原理。...这叫不断有新鲜血液加入社区做出贡献，长度不够我只放了前10个，数据都是github上公开的，全量的随时可以自行去看看。我感觉这才是Apache Way。...同时，当数据量增大的时候，这个延迟也会被同等放大。...立方体计算的横向扩展在面对大数据量的情况下越来越难被成功执行。
简介 Druid 是一个开源的，分布式的，列存储的，适用于实时数据分析的存储系统，能够快速聚合、灵活过滤、毫秒级查询、和低延迟数据导入。...它提供了全文搜索的模式，并提供了访问原始事件级数据。 Elasticsearch还提供了分析和汇总支持。根据研究，ES在数据获取和聚集用的资源比在Druid高。 Druid侧重于OLAP工作流程。...Druid是高性能（快速聚集和获取）以较低的成本进行了优化，并支持广泛的分析操作。Druid提供了结构化的事件数据的一些基本的搜索支持。...Druid vs Spark Spark 是围绕弹性分布式数据集（ RDD ）的概念，建立了一个集群计算框架，可以被看作是一个后台分析平台。...Spark提供分析师与不同算法各种各样运行查询和分析大量数据的能力。 Druid重点是数据获取和提供查询数据的服务，如果建立一个web界面，用户可以随意查看数据。
什么是OLAP ?随着互联网、物联网、5G、人工智能、云计算等技术的不断发展，越来越多的数据在互联网上产生，对互联网的运营也开始进入精细化，因此大数据、数据分析、数字营销开始变成每个互联网企业的重点。...在做数据分析时有OLAP、OLTP是我们必定会遇到的技术，在介绍OLAP引擎技术选型之前，我们先看看这两个技术分别是什么意思？...OLAP（OnlineAnalyticalProcessing联机分析处理），是大数据分析的应用技术，提供复杂的分析操作、侧重决策支持。...传统OLAP根据数据存储方式的不同分为ROLAP（relational olap）以及MOLAP（multi-dimension olap）ROLAP 以关系模型的方式存储用作多为分析用的数据，优点在于存储体积小...ClickHouse是近年来备受关注的开源列式数据库，主要用于数据分析（OLAP）领域。
实时OLAP分析需求一、背景介绍在之前的文章学习了离线数仓的构建，但是离线数仓的最大问题即：慢，数据无法实时的通过可视化页面展示出来，通常离线数仓分析的是“T+1”的数据，针对于时效性要求比较高的场景...KylinApache Kylin™是一个开源的分布式分析引擎，提供Hadoop/Spark之上的SQL查询接口及多维分析（OLAP）能力以支持超大规模数据，最初由eBay Inc....DruidDruid 是一种能对历史和实时数据提供亚秒级别的查询的数据存储。Druid 支持低延时的数据摄取，灵活的数据探索分析，高性能的数据聚合，简便的水平扩展。...适用于数据量大，可扩展能力要求高的分析型查询系统。...GreeplumGreenplum是一个开源的大规模并行数据分析引擎。借助MPP（大规模并行处理）架构，在大型数据集上执行复杂SQL分析的速度比很多解决方案都要快。
数据仓库：我们需要一套行之有效的数据组织和管理方法来让我们的数据体系更有序 清晰数据结构：每一个数据分层都有它的作用域和职责，在使用表的时候能更方便地定位和理解 减少重复开发：规范数据分层，开发一些通用的中间层数据...本层的数据，总体上大多是按照源头业务系统的分类方式而分类的 二、数据仓库层：DW :Data Warehouse 三、数据应用层：App Application 在这里，主要是提供给数据产品和数据分析使用的数据...，一般会存放在 ES、PostgreSql、Redis等系统中供线上系统使用，也可能会存在 Hive 或者 Druid 中供数据分析和数据挖掘使用。...另外，在该层也会做一部分的数据聚合，将相同主题的数据汇集到一张表中，提高数据的可用性，后文会举例说明 DWB: base 基础数据层：存储的是客观数据，一般用作中间层，可以认为是大量指标的数据层 DWM...按照业务划分，如流量、订单、用户等，生成字段比较多的宽表，用于提供后续的业务查询，OLAP分析，数据分发等。
一、Druid概述 1、Druid简介 Druid是一款基于分布式架构的OLAP引擎，支持数据写入、低延时、高性能的数据分析，具有优秀的数据聚合能力与实时查询能力。...在大数据分析、实时计算、监控等领域都有相关的应用场景，是大数据基础架构建设中重要组件。...大数据组件中OLAP引擎的选型有很多，在数据的查询引擎层通常都具有两种或者以上的OLAP引擎，选择合适的组件解决业务需求是优先原则。...必须要强调Druid适合数据分析场景，并不适合单条数据主键查询的业务。...4、数据立方体 数据加载完成后，查看可视化数据立方体： ? 数据立方体中提供一些基础的视图分析，可以在多个维度上拆分数据集并进行数据分析： ?
1.1 什么是OLAP？ OLAP(OnLine Analytical Processing)，即联机分析处理。OLAP对业务数据执行多维分析，并提供复杂计算，趋势分析和复杂数据建模的能力。...它主要用于支持企业决策管理分析，是许多商务智能（BI）应用程序背后的技术。OLAP使最终用户可以对多个维度的数据进行即席分析，从而获取他们所需知识，以便更好地制定决策。...它们共同代表了“整个”业务状况，为所有业务计划、分析和报告活动奠定了基础。 1.3 OLAP的起源 OLAP这个名词最早是在1993年，由被称为“关系数据库之父”的Edgar F....预计算也可能导致所谓的数据爆炸。 1.6.2 Relational OLAP（ROLAP） ROLAP将分析用的多维数据存储在关系数据库中。...为了更好的支持分析，在这种架构下，通常需要在数据仓库的基础上，按主题建立一些数据子集，也就是数据集市。这些数据集市通常采用维度模型，OLAP工具就可以基于数据集市而工作。
OLAP概念 OLAP（On-Line Analytical Processing）即联机分析处理，通过对数据大量分析，得出分析报告，提供决策支持，其侧重数据分析能力，比喻说用户行为分析。...OLAP/OLATP对比 OLAP 功能型分类 ROLAP: 关系型OLAP 特点：基于原始数据灵活的查询分析，但是其性能差 代表：Hive、Spark、Impala、Presto、Clickhouse...、Hologres MOLAP: 多维型OLAP 特点：基于预聚合数据分析，性能高，灵活性差 代表：Kylin、Druid HOLAP: 混合型OLAP 混合型OLAP同时具有ROLAP、MOLAP的特点...，查询明细数据使用ROLAP,查询聚合数据使用MOLAP。...OLAP 选择 在当前面对大数据量、低延时、灵活查询的场景下，没有一个OLAP引擎能够完全满足所有场景，需要根据特定的场景做tradeoff. ----
OLAP（On-Line Analysis Processing）在线分析处理是一种共享多维信息的快速分析技术；OLAP利用多维数据库技术使用户从不同角度观察数据；OLAP用于支持复杂的分析操作，侧重于对管理人员的决策支持...因此OLAP平台彩用了多种技术提高响应速度，例如专门的数据存储格式、大量的预处理和特殊的硬件设计等，通过减小在线分析处理的动态计算，事先存储OLAP所需粒度的数据等主要手段来获得OLAP响应速度的提高，...可分析。用户可以应用OLAP平台分析数据，也可以使用其他外部分析工具，例如电子数据表，这些分析工具基本上都以直观的方式为用户提供了分析功能。 共享。...为了使用户能够从多个维度、多个数据粒度查看数据，了解数据蕴含的信息，系统需要提供对数据的多维分析功能，包括切片、旋转和钻取等多种操作 四、 OLAP的操作 OLAP比较常用的操作包括对多维数据的切片与切块...OLAP_20120615151346 按处理方式分类 Server OLAP:绝大多数的OLAP系统都属于此类，Server OLAP在服务端的数据库上建立多维数据立方体，由服务端提供多维分析
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
