学习
实践
活动
专区
工具
TVP
写文章

【DBMS 数据库管理系统】OLTP 联机事务处理 与 OLAP 联机分析处理 ( 数据仓库 与 OLAP | OLAP 联机分析处理 | OLTP 与 OLAP 区别 )

文章目录 一、数据仓库 和 联机分析处理 技术 简介 二、OLAP 联机分析处理 引入 三、OLAP 联机分析处理 概念 四、OLAP 联机分析处理 特点 五、OLAP 与 OLTP 区别 一、数据仓库 联机分析处理 引入 ---- OLTP ( On-Line Transaction Processing ) 联机事务处理 , 不能满足用户对 数据库 “查询” 和 “分析” 的需要 , 主要是 SQL 的简单查询 不能满足用户 “分析” 需要 ; OLAP 引入 : 管理者 “决策分析” 需要对 关系数据库 进行大量 查询 , 计算 , 才能得到结果 , 简单查询不能满足 用户需求 , 因此引入 OLAP 特点 ---- "OLAP 联机分析处理" 特点 : 快速性 : OLAP 查询分析 , 系统要 在很短的时间内 反应并给出结果 ; 可分析性 : OLAP 应该有能力 处理 与应用先关的各种 逻辑分析 与 OLTP 区别 : OLTP ( On-Line Transaction Processing ) 联机事务处理 : 对数据库 增删查改操作 , 以 数据库 为基础 ; OLAP ( On-Line

18800
  • 广告
    关闭

    【限时特惠】腾讯云大数据产品,爆品秒杀1折起!

    移动推送、BI、云数仓Doris、ES、数据湖DLC、WeData、流计算Oceanus,多款产品助您高效挖掘数据潜力,提升数据生产力!

  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    OLAP介绍

    OLAP概念 OLAP(On-Line Analytical Processing)即联机分析处理,通过对数据大量分析,得出分析报告,提供决策支持,其侧重数据分析能力,比喻说用户行为分析。 与之对应的是OLTP(on-line transaction processing)即联机事务处理,也就是我们熟知的关系系数据处理,比喻说MySQL、Oracle等,用来记录某类业务发生的行为,其强调的是在线事务处理 OLAP/OLATP对比 OLAP 功能型分类 ROLAP: 关系型OLAP 特点:基于原始数据灵活的查询分析,但是其性能差 代表:Hive、Spark、Impala、Presto、Clickhouse 、Hologres MOLAP: 多维型OLAP 特点:基于预聚合数据分析,性能高,灵活性差 代表:Kylin、Druid HOLAP: 混合型OLAP 混合型OLAP同时具有ROLAP、MOLAP的特点 OLAP 选择 在当前面对大数据量、低延时、灵活查询的场景下,没有一个OLAP引擎能够完全满足所有场景,需要根据特定的场景做tradeoff. ----

    42020

    大数据开发:OLAP分析引擎Apache Kylin入门

    OLAP分析引擎领域,Apache Kylin可以说是一个重要的成员,相比于大规模并行处理指导思想下的Hive、Presto等组件,Apache Kylin采取了新的计算模式,提供不同的解决方案。 今天的大数据开发分享,我们就主要来讲讲OLAP分析引擎Apache Kylin入门。 ②OLAP OLAP(Online Analytical Process),联机分析处理,以多维度的方式分析数据,一般带有主观的查询需求,多应用在数据仓库。 与之对应的是OLTP(Online Transaction Process),联机事务处理,侧重于数据库的增删查改等常用业务操作。 ③维度和度量 维度和度量是数据分析中的两个基本概念。 关于大数据开发,OLAP分析引擎Apache Kylin入门,以上就为大家做了简单的介绍了。在OLAP分析引擎领域,Apache Kylin值得一学,有时间可以多多去深入一下。

    43020

    OLAP(On-Line Analysis Processing)在线分析处理引擎

    OLAP(On-Line Analysis Processing)在线分析处理是一种共享多维信息的快速分析技术;OLAP利用多维数据库技术使用户从不同角度观察数据;OLAP用于支持复杂的分析操作,侧重于对管理人员的决策支持 因此OLAP平台彩用了多种技术提高响应速度,例如专门的数据存储格式、大量的预处理和特殊的硬件设计等,通过减小在线分析处理的动态计算,事先存储OLAP所需粒度的数据等主要手段来获得OLAP响应速度的提高, 可分析。用户可以应用OLAP平台分析数据,也可以使用其他外部分析工具,例如电子数据表,这些分析工具基本上都以直观的方式为用户提供了分析功能。 共享。 为了使用户能够从多个维度、多个数据粒度查看数据,了解数据蕴含的信息,系统需要提供对数据的多维分析功能,包括切片、旋转和钻取等多种操作 四、 OLAP的操作 OLAP比较常用的操作包括对多维数据的切片与切块 OLAP_20120615151346 按处理方式分类 Server OLAP:绝大多数的OLAP系统都属于此类,Server OLAP在服务端的数据库上建立多维数据立方体,由服务端提供多维分析

    1.4K70

    OLAP引擎

    时序型数据的实时OLAP分析:a.明细数据产生速率快b.原始数据量大,以简单(sum/count/min/max)为主,c.去重指标不多(1~2个)doris1、运维成本低,无外部依赖,部署简单。 4、基于MPP的高性能计算1、多维过滤场景下性能较低2、同时负责数据导入, compaction, 查询, 这些操作之间会相互影响基于MPP高性能计算,提供灵活高的分析(主要依靠现场计算):a.明细查询 b.主键更新的场景c.百毫秒的高性能灵活d.OLAP查询低基数(千万级内)精确去重。 二、行业情况调研公司业务特点引擎使用阿里查询场景丰富、规模大、服务内部也对外提供云服务自研OLAP引擎为主、基于MPP架构和自研存储系统支持需求闭源。 典型系统:Doris腾讯查询场景丰富、大业务线有自己的OLAP团队;开源和自研OLAP都有不同业务线采用、典型系统:Clickhouse、PivotEngine(广点通自研OLAP引擎)头条查询场景集中

    33050

    大数据开发:OLAP开源数据分析引擎简介

    针对于不断新增的海量数据资源,企业需要通过及时地数据分析处理,才能从中挖掘出价值线索,反哺业务,实现数据驱动业务发展。而企业级的数据分析场景,多是采用OLAP数据分析引擎。 今天的大数据开发分享,我们就主要来讲讲主流的几个OLAP开源数据分析引擎。 对于企业而言,想要控制成本,那么选择开源框架进行开发是不二之选,而在OLAP数据分析领域,开源的技术框架是非常多的,而各个框架各有优缺点,最终还是需要结合到实际需求去进行技术选型。 OLAP开源引擎 目前市面上主流的开源OLAP引擎包含不限于:Hive、Spark SQL、Presto、Kylin、Impala、Druid、Clickhouse、Greeplum等,这里选取比较有代表性的几个框架来具体展开 Kylin的优点就是简单、快速,缺点就是可选数据分析维度太多。 关于大数据开发,OLAP开源数据分析引擎,以上就对主流的一些产品做了基本的介绍了。

    93600

    InnoDB 事务加锁分析

    本文以 MySQL 数据库 InnoDB 引擎为例,为大家分析 InnoDB数据库引擎对默认的隔离级别可重复读(RR)的具体实现。 整文知识点介绍:事务4种隔离级别、不同隔离级别解决的问题、MVCC、锁的类型、加锁案例分析;阅读完整文相信大家对事务隔离级别的具体实现有了一定的认识。 以下通过实际的案例分析来介绍InnoDB 是如果解决幻读问题的。 四、案例分析 在对SQL进行加锁分析前,需要明确表的结构和索引类型。 在不知道索引的情况下直接给出一条SQL来分析如果加锁是没有任何意义的。 分析Next-Key Locks其实就是要分析Record Locks和Gap Locks。MySQL InnoDB的可重复读并不保证避免幻读,需要应用使用加锁读来保证。

    48500

    redis事务源码分析

    一、事务基础1 redis事务介绍 事务能够将多个操作作为一个整体来执行,具备ACID四大特性。原子性:redis主线程对字典空间进行操作,天生是原子的,不需要同步机制。 一致性:redis并没有undo log,理论上事务执行一半就下线后是无法回滚的,需要通过redis-check-aof工具来检测,移除掉失败的事务命令。 2 innodb事务介绍 事务并发破坏了事务的隔离性,根据破坏的程度分为四大隔离级别,每种级别对于写都是需要加写锁并在事务提交后释放,区别在于读的可见性不一样。 读已提交:每次读生成一个最新的read view,能够读到本事务执行期间提交的事务,与最开始读到的不一样,会有不可重复读现象。 ,并简单讨论了下innodb的事务,对于事务的实现都是采用乐观锁/或者悲观锁来实现,乐观锁实现居多,大多是基于mvcc实现。

    22061

    MongoDB事务模型分析

    本文对于Mongodb上层事务中会让人困惑的几点进行源码层面的分析 mongodb 的写操作(insert/update/delete)提供的“单行一致性”的具体含义,如何做到的? mongodb 查询操作的事务隔离级别。 写操作的事务性 Mongodb的数据组织 在了解写操作的事务性之前,需要先了解mongo层的每一个table,是如何与wiredtiger层的table(btree)对应的。 下图是对上面的代码分析整理的调用层次关系。 ? 事务层次 表记录数的更新 对于数据库,我们希望,插入一条数据,记录数加一,删除一条记录,记录数减一。因为这是极其自然的事情。 根据先前的分析,我们知道,每一个查询都会attach在一个WiredTiger层面的Snapshot上,如果一个查询开始后没有释放Snapshot重新申请,那么它就能保证Snapshot Isolation

    1.4K20

    Spring事务的实现源码分析,以及事务不起作用原因分析

    关于第二点,使用动态数据源配置不正确导致的事务不起作用问题,我将留在文末分析,因为只有了解Spring事务的工作原理,才能真正的理解为什么会出现这样的问题。 本篇不分析Spring AOP部分的实现,只关注事务的实现。 当调用一个bean的被@Transaction注解注释的方法时,先走到TransactionInterceptor事务拦截器的invoke方法,因此事务拦截器的invoke方法就是分析注解事务实现的入口 事务管理器的rollback方法分析: 1)、根据事务状态TransactionStatus,判断当前事务是否有保存点Savepoint,如果有,则回滚到保存点,然后释放保存点。 方法执行分析: 1)、如果当前TracsactionStatus有保存点,则释放保存点;事务还不能提交,因为前一个事务方法被挂起了,还没有执行完成。 2)、否则如果是个新事务,提交事务

    96430

    OLAP vs OLTP

    OLTP定义 OLTP 是 Online Transaction Processing 的简称,是一个联机事务处理系统,主要目标是数据处理而不是数据分析OLAP定义 OLAP 是 Online Analytical Processing system 的简称,是一个联机分析处理系统,主要目标是数据分析而不是数据处理。 OLAP 还允许用户执行复杂的查询以提取多维数据。在 OLAP 中,即使事务在中间过程中失败,也不会损害数据完整性,因为用户使用 OLAP 系统只是从大型数据库中检索数据进行分析。 用户只需再次查询提取数据进行分析即可。 OLAP 中的事务很长,因此需要花费更多的时间以及更大的空间。与 OLTP 相比,OLAP 中的事务较少。甚至 OLAP 数据库中的表也可能不规范。 在线交易数据 不同的 OLTP 数据库成为 OLAP 的数据源 事务 短暂但频繁 较长但较少 处理时间 处理时间相对较短 事务的处理时间相对较长 查询 简单查询 复杂查询 规范化 规范化(3NF) 未规范化

    1K20

    RocketMQ 源码分析 —— 事务消息

    事务消息发送 2.1 Producer 发送事务消息 2.2 Broker 处理结束事务请求 2.3 Broker 生成 ConsumeQueue 3. 事务消息回查 3.1 Broker 发起【事务消息回查】 3.2 Producer 接收【事务消息回查】 ---- 1. 概述 必须必须必须 前置阅读内容: 《事务消息(阿里云)》 2. 事务消息发送 2.1 Producer 发送事务消息 活动图如下(结合 核心代码 理解): ? 事务消息回查 【事务消息回查】功能曾经开源过,目前(V4.0.0)暂未开源。 _3.1.4 相较于普通消息,【事务消息】多依赖如下三个组件: TransactionStateService :事务状态服务,负责对【事务消息】进行管理,包括存储与更新事务消息状态、回查事务消息状态等等

    62620

    关注

    腾讯云开发者公众号
    10元无门槛代金券
    洞察腾讯核心技术
    剖析业界实践案例
    腾讯云开发者公众号二维码

    相关产品

    • TDSQL PostgreSQL 版

      TDSQL PostgreSQL 版

      TDSQL PostgreSQL版是腾讯自主研发的分布式数据库系统。集高扩展性、高SQL兼容度、完整的分布式事务支持、多级容灾能力以及多维度资源隔离等能力于一身。采用no sharding 的集群架构,提供容灾、备份、恢复的能力。并完整兼容PostgreSQL与Oracle数据库。

    相关资讯

    热门标签

    活动推荐

      运营活动

      活动名称
      广告关闭

      扫码关注腾讯云开发者

      领取腾讯云代金券