OLAP联机处理 - 腾讯云开发者社区 - 腾讯云

开发者社区

文档建议反馈控制台

文章/答案/技术大牛

发布

【DBMS 数据库管理系统】OLTP 联机事务处理与 OLAP 联机分析处理 ( 数据仓库与 OLAP | OLAP 联机分析处理 | OLTP 与 OLAP 区别 )

文章目录一、数据仓库和联机分析处理技术简介二、OLAP 联机分析处理引入三、OLAP 联机分析处理概念四、OLAP 联机分析处理特点五、OLAP 与 OLTP 区别一、数据仓库...和联机分析处理技术简介 ---- 数据仓库 ( Data Warehousing ) 和联机分析处理 ( OLAP ) 技术简介 : 多维数据模型 ( Multi-dimension Data...( On-Line Analytical Processing ) 联机分析处理 ; 三、OLAP 联机分析处理概念 ---- "OLAP ( On-Line Analytical Processing...特点 ---- "OLAP 联机分析处理" 特点 : 快速性 : OLAP 查询分析 , 系统要在很短的时间内反应并给出结果 ; 可分析性 : OLAP 应该有能力处理与应用先关的各种逻辑分析...Analytical Processing ) 联机分析处理 : 数据分析处理 , 以数据仓库为基础 ; OLTP 提供对 OLAP 的数据支持 : OLAP 中的历史数据 , 导出数据 ,

1.4K0 0

联机分析处理技术

一、OLAP概述（一）OLAP的定义 20世纪80年代开始，联机事务处理（OLTP）的数据库系统已在企事业单位得到广泛的应用。...以信息数据为分析对象，以 OLAP 技术开发的数据分析系统称为联机分析处理系统，简称 OLAP 系统或 OLAP 工具或 OLAP 产品。...OLAP（联机分析处理）作为一个系统或一类产品已同 OLTP（联机事务处理）明显地区分开来。...，因此 MOLAP 又称为多维联机分析处理。...OLAP 概念是为了对数据进行多维统计分析与展示而提出来的，它要解决的问题是数据的联机（快速）分析处理方法。

8080 1

您找到你想要的搜索结果了吗？

是的

没有找到

联机分析处理简介

联机分析处理（OLAP）的概念最早是由关系数据库之父E.F.Codd于1993年提出的。...当时，Codd认为联机事务处理(OLTP）已不能满足终端用户对数据库查询分析的需要，SQL对大数据库进行的简单查询也不能满足用户分析的需求。...（2）可分析性　　OLAP系统应能处理与应用有关的任何逻辑分析和统计分析。尽管系统需要事先编程，但并不意味着系统已定义好了所有的应用。...这三种存储形式有不同的性能，其中关系数据库的处理速度大大低于其他两种。 4．OLAP数据的处理方式　　OLAP有三种数据处理方法。事实上，多维数据计算不需要在数据存储位置上进行。...对于日益增多的瘦型客户机，OLAP产品将把基于客户机的处理移到新的Web应用服务器上。

1.5K2 0

【数据仓库与联机分析处理】数据仓库

操作性数据库的主要任务是执行联机事务和查询处理，这种系统称为联机事务处理（Online Transaction Processing，OLTP）系统，它涵盖了企业组织机构大部分的日常操作，如购物、注册、...数据仓库系统则是在数据分析和决策方面为用户和决策者提供服务，以特定的主题和格式来组织和提供数据，从而满足不同用户的需求，因此这种系统称为联机分析处理（Online Analytical Processing...，OLAP）系统。...OLTP系统面向一般的客户，用于数据库用户的事务处理和查询，而OLAP系统则是面向知识工人或者管理决策人员，提供数据分析功能。 2、数据的内容不同。...而OLAP系统通常要跨越数据库的多个版本，处理来自不同组织的数据信息。由于数据量巨大，OLAP的数据通常会存放在多个存储介质上。

8910 0

OLAP（On-Line Analysis Processing）在线分析处理引擎

OLAP（On-Line Analysis Processing）在线分析处理是一种共享多维信息的快速分析技术；OLAP利用多维数据库技术使用户从不同角度观察数据；OLAP用于支持复杂的分析操作，侧重于对管理人员的决策支持...开源OLAP引擎：Mondrian快速入门 OLAP的基本概念 OLAP的特点 OLAP的操作 OLAP的分类二、 OLAP的基本概念（1）变量（度量）变量是数据度量的指标，是数据的实际意义...因此OLAP平台彩用了多种技术提高响应速度，例如专门的数据存储格式、大量的预处理和特殊的硬件设计等，通过减小在线分析处理的动态计算，事先存储OLAP所需粒度的数据等主要手段来获得OLAP响应速度的提高，...OLAP_20120615151346 按处理方式分类 Server OLAP:绝大多数的OLAP系统都属于此类，Server OLAP在服务端的数据库上建立多维数据立方体，由服务端提供多维分析...大容量的数据使立方体稀疏化，此时需要稀疏矩阵压缩技术处理，由于MOLAP是从物理上实现，故又称为物理OLAP（Physical OLAP）。 DOLAP。

3.1K7 0

【数据仓库与联机分析处理】多维数据模型

数据仓库和OLAP工具是基于多维数据模型的，该模型以数据立方体（Cube）的形式来观察和分析数据。...二、数据模型在数据库设计中，通常使用的是实体—联系数据模型，数据的组织由实体的集合和他们之间的联系组成，这种数据模型适用于联机事务处理。...三、多维数据模型中的OLAP操作在学习多维数据模型中的OLAP操作之前，首先需要认识一下概念分层。概念分层提出的背景是因为由数据归纳出的概念是有层次的。...概念分层允许用户在各种抽象级别处理多维数据模型，有一些OLAP数据立方体操作允许用户将抽象层物化成为不同的视图，并能够交互查询和分析数据。...由此可见，OLAP为数据分析提供了友好的交互环境。

5101 0

OLAP介绍

OLAP概念 OLAP（On-Line Analytical Processing）即联机分析处理，通过对数据大量分析，得出分析报告，提供决策支持，其侧重数据分析能力，比喻说用户行为分析。...与之对应的是OLTP（on-line transaction processing）即联机事务处理，也就是我们熟知的关系系数据处理，比喻说MySQL、Oracle等，用来记录某类业务发生的行为，其强调的是在线事务处理...OLAP/OLATP对比 OLAP 功能型分类 ROLAP: 关系型OLAP 特点：基于原始数据灵活的查询分析，但是其性能差代表：Hive、Spark、Impala、Presto、Clickhouse...、Hologres MOLAP: 多维型OLAP 特点：基于预聚合数据分析，性能高，灵活性差代表：Kylin、Druid HOLAP: 混合型OLAP 混合型OLAP同时具有ROLAP、MOLAP的特点...OLAP 选择在当前面对大数据量、低延时、灵活查询的场景下，没有一个OLAP引擎能够完全满足所有场景，需要根据特定的场景做tradeoff. ----

2.4K2 0

数据仓库作业三：第5章联机分析处理技术

第5章联机分析处理技术作业题 1、在 OLAP 的5个特征 FASMI 中，哪两个是 OLAP 的关键特性？ OLAP 的5个特征 FASMI 包括快速性、分析性、共享性、多维性和信息性。...其中快速性和多维性就是 OLAP 系统的两个关键特性。...在线性表现为对用户请求的快速响应和交互操作，它是通过使用 C/S 或 B/S 应用结构实现的；多维性通过建立多维数据模型实现对数据的多维分析，是 OLAP 技术的关键所在。...OLAP 的多维分析操作包括对多维数据集的切片（slice）、切块（dice）、下钻（drill-down）、上卷（roll-up）、旋转（pivot）等数据分析方法，以便让用户能从多个角度、多个侧面观察数据...切片操作是对多维数据集进行降维处理，可以按照需要选择数据集中的某一部分，方便用户理解多维数据蕴藏的决策信息。例举例来说，假设我们有一个3维数据集，分别是：日期、商品类别和销售额。

3420 0

【数据仓库与联机分析处理】数据仓库工具Hive

本质：将 HQL 转化成 MapReduce 程序（1）Hive 处理的数据存储在 HDFS （2）Hive 分析数据底层的实现是 MapReduce （3）执行程序运行在 Yarn 上（二）...（4）Hive 优势在于处理大数据，对于处理小数据没有优势，因为 Hive 的执行延迟比较高。（5）Hive 支持用户自定义函数，用户可以根据自己的需求来实现自己的函数。...2、缺点（1）Hive 的 HQL 表达能力有限：迭代式算法无法表达；数据挖掘方面不擅长，由于 MapReduce 数据处理流程的限制，效率更高的算法却无法实现。...当然，这个低是有条件的，即数据规模较小，当数据规模大到超过数据库的处理能力的时候，Hive 的并行计算显然能体现出优势。

9401 0

主流的 OLAP 引擎介绍 - OLAP极简教程

OLTP（OnlineTransactionProcessing联机事务处理），是传统关系型数据库的应用技术，提供日常的、基本的事务处理，比如在线交易之类。...OLAP（OnlineAnalyticalProcessing联机分析处理），是大数据分析的应用技术，提供复杂的分析操作、侧重决策支持。...Processing，联机分析处理）是在基于数据仓库多维模型的基础上实现的面向分析的各类操作的集合。...可以比较下其与传统的OLTP（On-line Transaction Processing，联机事务处理）的区别来看一下它的特点：说起 OLAP 要追溯到 1993 年。...2.关系型OLAP ( Relational OLAP ) 关系OLAP（ROLAP）是中间服务器, 它们位于关系后端服务器和用户前端工具之间，其使用关系或扩展关系DBMS来保存和处理仓库数据, 并使用

9.8K2 2

复杂场景数据处理的 OLTP 与 OLAP 融合实践

相信大家对 OLTP 和 OLAP 都不陌生，我这里再简单介绍下： OLTP 是一种快速响应、实时在线的一种数据处理方式。与之对应的 OLAP，是一种离线的、复杂场景的数据计算方式。...就像拼积木一样，可以将各种各样的 OLTP 和 OLAP 组装起来，形成一种更加复杂场景的数据处理方式。...Dag Controller 就是处理这种场景的系统，它负责 OLTP、OLAP 的串联和执行。图片架构图片 Dag Controller 的职责： 1）向外部提供了 http 接口。...简单的说，通过两个线程池分别处理 DAG 和 Task。具体描述如下： 1）系统启动时，分配 Job 线程池和 Task 线程池，分别处理 Job 的执行和 Task 的执行。...4）在 Job 执行过程中，如果 Job 线程池满了之后，定时获取未执行 Job 时需要做等待处理。Task 线程池满了之后，也同样做等待处理。

9622 0

OLAP组件选型

OLAP组件选型一、OLAP简介 1、olap准则 2、OLAP场景的关键特征 3、与oltp比较二、开源引擎 1、Hive 2、spark SQL 3、presto 4、kylin 5、impala...简介说起 OLAP 要追溯到 1993 年。...1、olap准则准则1 OLAP模型必须提供多维概念视图准则2 透明性准则准则3 存取能力准则准则4 稳定的报表能力准则5 客户/服务器体系结构准则6 维的等同性准则准则7 动态的稀疏矩阵处理准则...传统OLAP根据数据存储方式的不同分为ROLAP（relational olap）以及MOLAP（multi-dimension olap） ROLAP 以关系模型的方式存储用作多为分析用的数据，优点在于存储体积小...官方提供的文档表名，ClickHouse 日处理记录数”十亿级”。

3.6K3 0

OLAP 与 OLTP

优质博文：IT-BLOG-CN一、介绍数据处理大致可以分成两大类：联机事务处理 OLTP（on-line transaction processing）、联机分析处理OLAP（On-Line Analytical...OLAP，也叫联机分析处理Online Analytical Processing系统，有的时候也叫DSS决策支持系统，就是我们说的数据仓库。...）Oracle 11g的版本建库过程中可供选择的模板有：【1】一般用途或事务处理【2】定制数据库【3】数据仓库个人对这些模板的理解为：【1】联机分析处理（OLAP,On-line Analytical...二、OLTP和OLAP的区别联机事务处理OLTP on-line transaction processing主要是执行基本日常的事务处理，比如数据库记录的增删查改。...联机分析处理OLAP On-Line Analytical Processing是数据仓库系统的主要应用，支持复杂的分析操作，侧重决策支持，并且提供直观易懂的查询结果。

7041 0

OLAP引擎

3、本地存储数据文件，通过mmap将数据映射到内存中处理，最大化利用内存。1、只支持部分SQL功能，不能做灵活计算。2、目前只支持基于HyperLogLog近似去重。...时序型数据的实时OLAP分析：a.明细数据产生速率快b.原始数据量大，以简单（sum/count/min/max）为主，c.去重指标不多（1~2个）doris1、运维成本低，无外部依赖，部署简单。...多维过滤场景下性能较低2、同时负责数据导入, compaction, 查询, 这些操作之间会相互影响基于MPP高性能计算，提供灵活高的分析（主要依靠现场计算）：a.明细查询b.主键更新的场景c.百毫秒的高性能灵活d.OLAP...二、行业情况调研公司业务特点引擎使用阿里查询场景丰富、规模大、服务内部也对外提供云服务自研OLAP引擎为主、基于MPP架构和自研存储系统支持需求闭源。...典型系统：Doris腾讯查询场景丰富、大业务线有自己的OLAP团队；开源和自研OLAP都有不同业务线采用、典型系统：Clickhouse、PivotEngine（广点通自研OLAP引擎）头条查询场景集中

1.1K5 0

Druid：实时处理时序数据的OLAP数据库

大数据分析和Druid 大数据一直是近年的热点话题，随着数据量的急速增长，数据处理的规模也从GB 级别增长到TB 级别，很多图像应用领域已经开始处理PB 级别的数据分析。...Hadoop 设计之初就是为了批量处理大数据，但数据处理实时性经常是它的弱点。...Druid：实时处理时序数据的OLAP数据库整个数据分析的基础架构通常分为以下几类。（1）使用Hadoop/Spark 的MR 分析。...Druid 的应用场景从技术定位上看，Druid 是一个分布式的数据分析平台，在功能上也非常像传统的OLAP系统，但是在实现方式上做了很多聚焦和取舍，为了支持更大的数据量、更灵活的分布式部署、更实时的数据摄入...，Druid 舍去了OLAP 查询中比较复杂的操作，例如JOIN 等。

1.9K2 0

OLAP 是什么？一文讲清 OLAP 和 OLTP 的区别

在数据处理领域，OLAP (联机分析处理) 和 OLTP (联机事务处理) 是两个非常关键又常常被对比的概念。那么，OLAP 到底指的是什么？它跟 OLTP 具体有哪些不同？...三、OLAP 和 OLTP 的区别（核心干货）这两个系统，虽然名字有点像，但实际功能、工作方式和性能要求，差别非常大。咱们一项项看：1.数据处理目的OLAP：主攻“分析决策”。...2.数据流转数据流动的主要方向是从 OLTP 到 OLAP。 OLTP系统实时处理业务并更新数据库。...OLAP系统则按计划（比如每天凌晨业务低峰期）从OLTP系统抽取数据（可能是增量或全量），经过ETL处理（确保数据质量、格式统一）后，加载到自己的分析存储中。...原因很简单：OLAP执行复杂分析查询时，会大量消耗系统资源。如果和OLTP共享资源，会严重影响OLTP处理实时交易的速度和稳定性，导致用户操作卡顿甚至失败，这是不能接受的。

2.6K0 0

什么是 OLAP？一文搞懂 OLAP 定义及特点

面对这种局面，OLAP（联机分析处理）就成了破局的关键。说白了，它就是一种技术，专门帮你快速、灵活地从各个角度分析海量数据。...它不负责处理日常那些下单、付款的操作（那是OLTP的事），它的专长就是让你深入琢磨数据，找出门道。接下来，咱就详细聊聊OLAP到底是怎么回事，它都有哪些真本事。...FineBI就是一款支持OLAP分析的企业级一站式BI数据分析与处理平台，它能够帮助企业轻松实现多维度的数据分析，为企业决策提供有力支持。...3.OLAP与OLTP的区别这俩经常被搞混，其实分工很明确：OLTP（联机事务处理）：管日常操作，比如你淘宝下单、银行转账。特点就是快进快出，保证事务别出错。...OLAP（联机分析处理）：管事后分析，比如看全年哪个商品卖得最好、哪个地区增长快。特点就是多维度、深挖历史数据。你懂我意思吗？一个管干活，一个管复盘优化，谁也替不了谁。

8140 0

Oracle-OLAP和OLTP解读

文章目录概述 OLTP(on-line transaction processing)数据库 OLAP(On-Line Analytical Processing)数据库联机事务处理（OLTP）和联机分析处理...---- OLAP(On-Line Analytical Processing)数据库 OLAP 数据库在内存上可优化的余地很小，甚至觉得增加CPU 处理速度和磁盘I/O 速度是最直接的提高数据库性能的方式...---- 联机事务处理（OLTP）和联机分析处理（OLAP）的不同联机事务处理（OLTP）和联机分析处理（OLAP）的不同，主要通过以下五点区分开来。...1.用户和系统的面向性: OLTP是面向顾客的,用于事务和查询处理 OLAP是面向市场的,用于数据分析 ---- 2.数据内容: OLTP系统管理当前数据....OLAP系统的访问大部分是只读操作 ---- OLTP是传统的关系型数据库的主要应用，主要是基本的、日常的事务处理，例如银行交易。

1.6K3 0

OLTP与OLAP的区别精简总结

1、当今的数据处理大致可以分成两大类：联机事务处理On-Line Transaction Processing 联机分析处理On-Line Analytical Processing 2、二者特性的不同...衡量联机事务处理系统的一个重要性能指标是系统性能，具体体现为实时响应时间(Response Time)，即用户在终端上送入数据之后，到计算机对这个请求给出答复所需要的时间。...---- 01-2 OLAP（数据仓库读取分析对CPU要求高）所谓数据仓库是对于大量已经由OLTP形成的历史数据加工与分析，读取较多，更新较少的一种分析型的数据库，用于处理商业智能、决策支持等重要的决策信息...一、OLAP简介 OLAP即联机分析处理，是数据仓库的核心部心，支持复杂的分析操作，侧重决策支持，并且提供直观易懂的查询结果。典型的应用就是复杂的动态报表系统。...1、用户和系统的面向性: OLTP是面向顾客的,用于事务和查询处理 OLAP是面向市场的,用于数据分析 2、数据内容: OLTP系统管理当前数据 OLAP系统管理大量历史数据,提供汇总和聚集机制 3、访问模式

8.3K5 2

OLTP与OLAP的区别精简总结

1、当今的数据处理大致可以分成两大类：联机事务处理On-Line Transaction Processing 联机分析处理On-Line Analytical Processing 2、二者特性的不同...衡量联机事务处理系统的一个重要性能指标是系统性能，具体体现为实时响应时间(Response Time)，即用户在终端上送入数据之后，到计算机对这个请求给出答复所需要的时间。...---- 01-2 OLAP（数据仓库读取分析对CPU要求高）所谓数据仓库是对于大量已经由OLTP形成的历史数据加工与分析，读取较多，更新较少的一种分析型的数据库，用于处理商业智能、决策支持等重要的决策信息...一、OLAP简介 OLAP即联机分析处理，是数据仓库的核心部心，支持复杂的分析操作，侧重决策支持，并且提供直观易懂的查询结果。典型的应用就是复杂的动态报表系统。...1、用户和系统的面向性: OLTP是面向顾客的,用于事务和查询处理 OLAP是面向市场的,用于数据分析 2、数据内容: OLTP系统管理当前数据 OLAP系统管理大量历史数据,提供汇总和聚集机制 3、访问模式

10.1K2 2

点击加载更多

相关资讯

热门标签

活动推荐

运营活动

活动名称

广告关闭