首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

OLAP引擎

时序型数据的实时OLAP分析:a.明细数据产生速率快b.原始数据量大,以简单(sum/count/min/max)为主,c.去重指标不多(1~2个)doris1、运维成本低,无外部依赖,部署简单。...多维过滤场景下性能较低2、同时负责数据导入, compaction, 查询, 这些操作之间会相互影响基于MPP高性能计算,提供灵活高的分析(主要依靠现场计算):a.明细查询b.主键更新的场景c.百毫秒的高性能灵活d.OLAP...二、行业情况调研公司业务特点引擎使用阿里查询场景丰富、规模大、服务内部也对外提供云服务自研OLAP引擎为主、基于MPP架构和自研存储系统支持需求闭源。...典型系统:Doris腾讯查询场景丰富、大业务线有自己的OLAP团队;开源和自研OLAP都有不同业务线采用、典型系统:Clickhouse、PivotEngine(广点通自研OLAP引擎)头条查询场景集中

82250
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    OLAP 与 OLTP

    OLAP是数据仓库系统的主要应用,支持复杂的分析操作,侧重决策支持,并且提供直观易懂的查询结果。...在OLAP系统中,常使用分区技术、并行技术: 【1】分区技术在OLAP系统中的重要性主要体现在数据库管理上,比如数据库加载,可以通过分区交换的方式实现,备份可以通过备份分区表空间实现,删除数据可以通过分区进行删除...但有时候对于OLAP系统,我们又有分页的情况下,我们可以考虑在每条SQL中用hint。...但是,在OLAP环境中,可能会因为其特有的特性,提高OLAP的查询速度。...3.OLAP系统的重点是通过数据提供决策支持,所以查询一般都是动态,自定义的。所以在OLAP中,维度的概念特别重要。一般会将用户所有关心的维度数据,存入对应数据平台。

    10210

    OLAP vs OLTP

    OLAP定义 OLAP 是 Online Analytical Processing system 的简称,是一个联机分析处理系统,主要目标是数据分析而不是数据处理。...OLAP 数据库存储的是 OLTP 输入的历史数据。可以允许用户查看不同纬度的数据。使用 OLAP,我们可以从大型数据库中提取信息并进行分析来做决策。...OLAP 还允许用户执行复杂的查询以提取多维数据。在 OLAP 中,即使事务在中间过程中失败,也不会损害数据完整性,因为用户使用 OLAP 系统只是从大型数据库中检索数据进行分析。...OLAP 中的事务很长,因此需要花费更多的时间以及更大的空间。与 OLTP 相比,OLAP 中的事务较少。甚至 OLAP 数据库中的表也可能不规范。...参考:Difference Between OLTP and OLAP

    1.7K20

    我们需要怎样的 OLAP

    OLAP 这个词从字面上理解是在线分析的意思,也就是由人员面对数据进行各种交互式的分析操作。但是,现在的OLAP 概念被 BI 软件给严重狭义化了。...面向业务分析时说到 OLAP,在技术上经常就只有多维分析的功能,也就是针对一个事先建设好的数据立方体,按指定维度层次进行汇总并呈现成表格或图形,再辅以钻取、聚合、旋转、切片等操作以变换维度层次及汇总范围...近年来流行的敏捷 BI 产品在操作的流畅性和界面的炫丽度都较早期 OLAP 产品有较大的提升,但本质计算功能并没有增长多少,还是在做多维分析,该不能算的还是不能算。...那么,用于规律发现(更确切地说是规律验证)的 OLAP/BI 软件应当是什么样的呢?...这时候 OLAP 软件要做的事就不是让业务人员自己实现过程计算,而是要提高业务人员获取技术资源的效率,以及技术人员实现需求的开发效率。

    7910

    简单理解olap引擎

    18 2023-07 简单理解OLAP引擎 尝试用最简单的方式解释一下OLAP和OLTP的区别。毕竟对于一个走业务线的数据分析师而言,一些技术问题也没有必要过分深究。...,OLAP就是为了数据分析而生的,分析这个大字已经明晃晃的写出来了。...对OLTP而言,支持业务是主业,而分析就是副业;而对OLAP而言,分析才是专业,所以在分析领域,OLTP完全不是OLAP的对手。...前面已经说过了,OLAP和OLTP是在不同的场景上的应用。实际对企业而言,OLAP和OLTP两种常见都需要的,那么我们在采购数据库产品的时候岂不是要选择两种?...除了市场需求以外,还有一个数据分析师都需要关注的地方,那就是如果用来OLTP和OLAP两套东西,就一定会面临一个问题,那就是数据从OLTP到OLAP的同步问题。

    26320

    【DBMS 数据库管理系统】OLTP 联机事务处理 与 OLAP 联机分析处理 ( 数据仓库 与 OLAP | OLAP 联机分析处理 | OLTP 与 OLAP 区别 )

    文章目录 一、数据仓库 和 联机分析处理 技术 简介 二、OLAP 联机分析处理 引入 三、OLAP 联机分析处理 概念 四、OLAP 联机分析处理 特点 五、OLAP 与 OLTP 区别 一、数据仓库...) 联机分析处理 ; 三、OLAP 联机分析处理 概念 ---- "OLAP ( On-Line Analytical Processing ) 联机分析处理" 概念 : OLAP 是使 分析人员 管理人员...能够从 多种角度 , 对 从原始数据 中 转化出来的 能够真正为用户所理解的 , 真实反映企业多维特性的 信息 , 进行 快速 , 一致 , 交互 地 存取 , 从而获得对数据的更深入了解 的一类 软件技术...; ( 使 人员 能够对 信息 进行 存取 , 并获得对数据的 深入理解 的 软件技术 ) 四、OLAP 联机分析处理 特点 ---- "OLAP 联机分析处理" 特点 : 快速性 : OLAP 查询分析...OLAP 系统 快速分析查询的要求 ; 前端界面 : OLAP 的前端界面风格 和 数据访问方式 比 OLAP 友好 ; 系统使用者 : OLAP 使用者大部分是 非数据处理的专业人员 ; OLTP

    1K00

    大数据OLAP框架对比

    大数据OLAP常用的技术 大规模并行处理: 可以通过增加机器的方式来扩容处理速度, 在相同的时间里处理更多的数据。...目前还没有一个OLAP系统能够满足各种场景的查询需求。 其本质原因是, 没有一个系统能同时在数据量、性能、和灵活性三个方面做到完美, 每个系统在设计时都需要在这三者间做出取舍。...image.png 数据组织方式 传统OLAP根据数据存储组织方式的不同分为 ROLAP(relational olap)以及 MOLAP(multi-dimension olap) ROLAP...但是其缺点也很明显, 内存资源需求大, MPP的OLAP一般都是基于内存的, 所以对于机器内存要求很大, 对于过大的数据量,会极大的影响性能....image.png OLAP测评报告 前两份主要是针对基于MPP方式的OLAP框架的测评, HAWQ、Presto、ClickHouse HAWQ 性能大部分情况下是低于 Presto和 ClickHouse

    3.9K72

    OLAP | 基础知识梳理

    他为OLAP产品建立了12条评估规则: OLAP的发展历史 到现在为止,OLAP技术发展了20多年,正处于群雄逐鹿阶段,不知道未来有没有一统江湖的完美技术出现。...传统OLAP 根据Codd的关于OLAP的十二条准则,OLAP技术有了很大的发展,市场上的各种OLAP产品层出不穷。...在1980‘s年代,电子表格在OLAP应用中占绝对主导地位;而1990’s年代以后,越来越多的基于数据库的OLAP应用开始出现: 大数据OLAP 大数据方向OLAP相关技术的发展: OLAP的基本内容...OLAP的分类 按建模类型分类 一般来说OLAP根据建模方式可分为MOLAP、ROLAP和HOLAP 3种主流类型,另外还有混合事务/分析处理(HTAP)、网络OLAP(WOLAP),桌面OLAP(DOLAP...),移动OLAP(MOLAP)和空间OLAP(SOLAP)。

    1.5K20

    HTAP 能够取代 OLAP 吗?

    因此在实际应用中,为了面对各种需求,OLTP、OLAP 在技术上分道扬镳,在很多企业架构中,这两类任务处理由不同团队完成,同时部署的OLAP和OLTP通过ETL进行衔接。...为了提升OLAP的性能,需要在ETL过程中进行大量的预计算,包括数据结构的调整和业务逻辑处理。这样的好处是可以控制OLAP的访问延迟,提升用户体验。...我们了解了OLAP 数据库和 OLTP 数据库之后,我们再来考虑:HTAP=OLTP+OLAP,是这样吗?...现实情况是,对HTAP的需求,日常还是以OLTP为主,但也需要对数据进行加工,以保证偶尔的OLAP工作负载,这里说的OLAP场景并不是真正意义上的OLAP,它只为了提升在OLTP系统中执行复杂查询的性能...如何满足当今的OLAP业务在大数据不断高速发展的时代,当您的企业发现传统的数据库已经不能满足业务需求,需要选型OLAP或者HTAP来解决OLAP需求时,重要考虑哪些影响数据使用的因素呢?

    34420

    大数据OLAP系统比较

    大数据OLAP系统比较 结论 选择presto和clickhouse配合使用 对实时性要求不严格的数据用presto查询 对于实时性有要求的数据查询clickhouse 理由: 核心原因:clickhouse...整体情况 目前的大数据OLAP系统都是部分优化的,偏向于定制化系统,典型的是Clickhouse的不同表级engine 建立一个能够cover绝大多数情况的通用的大数据OLAP系统预计还需要100年 目前所有的...OLAP系统都是基于两种思路设计 列式数据库加索引,典型是Clickhouse 预计算空间换时间:典型是Apache Kylin,所有结果预先计算好放在cube OLAP系统比较 先大致按照OLAP的设计思路把常用的系统分下类...Systems for Big Data: ClickHouse, Druid, and Pinot https://www.sspaeti.com/blog/olap-whats-coming-next.../ BigQuery under the hood 主流OLAP系统对比总结 https://zhuanlan.zhihu.com/p/51555789 https://github.com/yandex

    3.2K22
    领券