mysql搭建olap - 腾讯云开发者社区 - 腾讯云

开发者社区

文档建议反馈控制台

文章/答案/技术大牛

发布

如何搭建 OLAP 系统？OLAP与数据仓库有什么关系？

为了挖掘数据里的价值，很多企业开始考虑搭建 OLAP（联机分析处理）系统。但在这之前，咱们得先弄明白数据仓库是啥。那么，数据仓库到底是什么？它跟OLAP 系统又是什么关系？...三、数据仓库与 OLAP 的关系（核心联系）数据仓库和OLAP关系非常紧密，相互依赖：1.数据仓库是 OLAP 的基础说白了，没有高质量、整合好的数据，再强大的分析工具也没用武之地。...2.OLAP 是数据仓库价值的体现数据仓库存了那么多整理好的历史数据，怎么把里面的价值真正挖出来？OLAP 就是核心手段之一。...我一直强调， OLAP让沉睡在仓库里的数据活起来，变成洞察力。...3.两者相互促进数据仓库的提升让OLAP更强大：仓库里的数据质量越高、模型设计越合理、整合的数据源越全面，OLAP分析就能做得越深入、结果越准确。

2110 0

OLAP介绍

OLAP概念 OLAP（On-Line Analytical Processing）即联机分析处理，通过对数据大量分析，得出分析报告，提供决策支持，其侧重数据分析能力，比喻说用户行为分析。...与之对应的是OLTP（on-line transaction processing）即联机事务处理，也就是我们熟知的关系系数据处理，比喻说MySQL、Oracle等，用来记录某类业务发生的行为，其强调的是在线事务处理...OLAP/OLATP对比 OLAP 功能型分类 ROLAP: 关系型OLAP 特点：基于原始数据灵活的查询分析，但是其性能差代表：Hive、Spark、Impala、Presto、Clickhouse...、Hologres MOLAP: 多维型OLAP 特点：基于预聚合数据分析，性能高，灵活性差代表：Kylin、Druid HOLAP: 混合型OLAP 混合型OLAP同时具有ROLAP、MOLAP的特点...OLAP 选择在当前面对大数据量、低延时、灵活查询的场景下，没有一个OLAP引擎能够完全满足所有场景，需要根据特定的场景做tradeoff. ----

2.3K2 0

您找到你想要的搜索结果了吗？

是的

没有找到

主流的 OLAP 引擎介绍 - OLAP极简教程

什么是OLAP ?...OLAP系统则强调数据分析，强调SQL执行时长，强调磁盘I/O，强调分区。 OLAP 分类 OLAP 是一种让用户可以用从不同视角方便快捷的分析数据的计算方法。...主流的 OLAP 可以分为3类： 1.多维OLAP ( Multi-dimensional OLAP )、 2.关系型OLAP ( Relational OLAP ) 3.混合OLAP ( Hybrid...4.Others 除此之外，还包含一些其他分类，包括启用Web的OLAP（WOLAP），桌面OLAP（DOLAP），移动OLAP（MOLAP）和空间OLAP（SOLAP）。...需要从以下三个方面考虑框架选型：数据存储和构建、安装搭建、开发成本。

9.7K2 2

如何搭建高效OLAP系统？关键指标必须盯紧了！

现在企业都知道数据重要，但怎么用好数据，特别是通过OLAP系统做深度分析，确实是个技术活。OLAP（联机分析处理）能让企业从多个角度灵活分析数据，发现价值。...但想建个好用的OLAP系统，哪些指标必须重点关注？今天咱们就掰开揉碎，聊聊这些关键点。一、数据质量指标：分析的根基不能垮数据质量不行，分析结果肯定跑偏。这是OLAP系统能用的前提。...我一直强调，在数据进OLAP之前，必须做清洗和验证，像是FineDataLink这个工具就可以帮助企业对数据进行清洗和验证，确保数据的准确性，为 OLAP 分析提供可靠的数据基础。...Q&A 常见问答Q：这么多指标，搭建时怎么平衡？比如又快又好又便宜？A：现实点说，很难面面俱到！预算有限时，就得抓重点。我一直强调，先看核心业务需求最在乎什么。...搭建时不可能所有指标都做到极致，关键是认清你最核心的业务需求是什么，优先保障那些指标。同时要明白，技术会变，需求会涨，选个架构开放、能持续演进的方案很重要。

1040 0

OLAP 与 OLTP

OLAP是数据仓库系统的主要应用，支持复杂的分析操作，侧重决策支持，并且提供直观易懂的查询结果。...在OLAP系统中，常使用分区技术、并行技术：【1】分区技术在OLAP系统中的重要性主要体现在数据库管理上，比如数据库加载，可以通过分区交换的方式实现，备份可以通过备份分区表空间实现，删除数据可以通过分区进行删除...但有时候对于OLAP系统，我们又有分页的情况下，我们可以考虑在每条SQL中用hint。...但是，在OLAP环境中，可能会因为其特有的特性，提高OLAP的查询速度。...3.OLAP系统的重点是通过数据提供决策支持，所以查询一般都是动态，自定义的。所以在OLAP中，维度的概念特别重要。一般会将用户所有关心的维度数据，存入对应数据平台。

4971 0

OLAP组件选型

OLAP组件选型一、OLAP简介 1、olap准则 2、OLAP场景的关键特征 3、与oltp比较二、开源引擎 1、Hive 2、spark SQL 3、presto 4、kylin 5、impala...简介说起 OLAP 要追溯到 1993 年。...1、olap准则准则1 OLAP模型必须提供多维概念视图准则2 透明性准则准则3 存取能力准则准则4 稳定的报表能力准则5 客户/服务器体系结构准则6 维的等同性准则准则7 动态的稀疏矩阵处理准则...OLAP系统则强调数据分析，强调SQL执行时长，强调磁盘I/O，强调分区。...传统OLAP根据数据存储方式的不同分为ROLAP（relational olap）以及MOLAP（multi-dimension olap） ROLAP 以关系模型的方式存储用作多为分析用的数据，优点在于存储体积小

3.5K3 0

OLAP引擎

时序型数据的实时OLAP分析：a.明细数据产生速率快b.原始数据量大，以简单（sum/count/min/max）为主，c.去重指标不多（1~2个）doris1、运维成本低，无外部依赖，部署简单。...2、兼容Mysql协议和语法，支持在线schema变更。3、同时支持批量导入和近实时mini-batch导入查询。...多维过滤场景下性能较低2、同时负责数据导入, compaction, 查询, 这些操作之间会相互影响基于MPP高性能计算，提供灵活高的分析（主要依靠现场计算）：a.明细查询b.主键更新的场景c.百毫秒的高性能灵活d.OLAP...二、行业情况调研公司业务特点引擎使用阿里查询场景丰富、规模大、服务内部也对外提供云服务自研OLAP引擎为主、基于MPP架构和自研存储系统支持需求闭源。...典型系统：Doris腾讯查询场景丰富、大业务线有自己的OLAP团队；开源和自研OLAP都有不同业务线采用、典型系统：Clickhouse、PivotEngine（广点通自研OLAP引擎）头条查询场景集中

1.1K5 0

OLAP or OLTP该怎么选？数据库系统如何搭建？

举个例子：电商的订单系统肯定是 OLTP，用户下单得实时扣库存、生成订单；而大促后的复盘系统，要分析不同渠道、商品的销售情况，这就得用 OLAP。怎么高效搭建系统？...我分 OLTP 和 OLAP 两种情况说，都是干货，记好了。场景 1：OLTP 系统搭建，核心是“稳、快、准”搭 OLTP 系统，目标很明确：少花钱、扛住高频业务、数据不能丢。...（1）第一步：看业务规模选数据库中小业务（QPS 小于 1 万）：开源的 MySQL、PostgreSQL 就行。...（2）第二步：架构设计（3）第三步：监控和备份实时监控：用 Prometheus+Grafana 监控 QPS、延迟、锁等待这些指标，慢查询赶紧处理；定期备份：全量备份加增量日志，比如 MySQL 用...场景 2：OLAP 系统搭建，关键是“快、活、省”搭 OLAP 系统，就是要用合理的成本，让复杂查询跑得顺，数据接入也方便。

3531 0

什么是 OLAP？一文搞懂 OLAP 定义及特点

接下来，咱就详细聊聊OLAP到底是怎么回事，它都有哪些真本事。一、OLAP基础概念解读1.OLAP的定义简单来说，OLAP就是一种专门用来“分析”数据的工具。...三、OLAP的四大看家本领说白了，OLAP能帮你把数据“掰开了、揉碎了”看透。甭管数据量多大、维度多杂，用好这四招，关键信息基本都能揪出来。...四、OLAP的三种实现方式，各有利弊1.MOLAP（多维OLAP）优点：查询飞快。数据提前按多维结构算好存着，查的时候直接拿结果。缺点：数据更新慢。...2.ROLAP（关系型OLAP）优点：数据更新快。直接用关系数据库（如SQLServer,MySQL）里的数据，实时性强。缺点：复杂查询慢。...OLAP的“信息性”，核心就是把散装数据拧成一股绳，让你做判断时心里有底，而不是在“数据迷雾”里瞎撞。六、OLAP在企业里怎么用？

6890 0

OLAP 是什么？一文讲清 OLAP 和 OLTP 的区别

在数据处理领域，OLAP (联机分析处理) 和 OLTP (联机事务处理) 是两个非常关键又常常被对比的概念。那么，OLAP 到底指的是什么？它跟 OLTP 具体有哪些不同？...一、OLAP 基础概念解读1.OLAP 的定义说白了，OLAP 就是一种专门用来对大量历史数据进行多角度分析的技术。...四、OLAP 和 OLTP 的应用场景1.OLAP 的应用场景说白了，凡是要做深入分析、辅助决策的地方，就需要OLAP。零售业：分析销售趋势（什么产品在哪儿卖得好？销售旺季是什么时候？）...用过来人的经验告诉你，没有OLTP持续产生准确的数据，OLAP就没有分析的基础；没有OLAP的深度分析，OLTP产生的数据价值就难以充分释放。...Q：企业实施 OLAP 和 OLTP 系统，最该注意什么？A：我重点强调几点：实施 OLAP：数据质量是基础。

2.1K0 0

OLTP + OLAP -> HTAP

OLAP OLAP：On-Line Analytical Processing，联机（线上）分析处理。指处理分析型应用的场景。...OLAP 与 DSM：OLAP 的查询模式一般是同时查很多对象的几个属性。...列存数据库等就是面向 OLAP 的，因此，列式存储在大数据时代这种分析型场景中火了一把，如数据仓库 HBase。 NSM 不适用于 OLAP，因为会额外读取很多不需要的列。...HTAP 就是 OLAP 和 OLTP 两种场景的结合。在对新旧数据进行 OLAP 分析的情况下增加事务的处理来对数据进行更新。...一种构造 HTAP DBMS 的方式就是分别针对新旧数据构建两套引擎，一套负责 OLTP，一套负责 OLAP，相当于将关系数据库和列存数据库进行结合。

3.4K3 0

常见OLAP分类

1.OLAP分类 2.OLAP常见的一些操作 1.上卷（Roll Up）/聚合：选定某些维度，根据这些维度来聚合事实，如果用SQL来表达就是select dim_a, aggs_func(fact_b

1.3K2 0

OLAP vs OLTP

OLAP定义 OLAP 是 Online Analytical Processing system 的简称，是一个联机分析处理系统，主要目标是数据分析而不是数据处理。...OLAP 数据库存储的是 OLTP 输入的历史数据。可以允许用户查看不同纬度的数据。使用 OLAP，我们可以从大型数据库中提取信息并进行分析来做决策。...OLAP 还允许用户执行复杂的查询以提取多维数据。在 OLAP 中，即使事务在中间过程中失败，也不会损害数据完整性，因为用户使用 OLAP 系统只是从大型数据库中检索数据进行分析。...OLAP 中的事务很长，因此需要花费更多的时间以及更大的空间。与 OLTP 相比，OLAP 中的事务较少。甚至 OLAP 数据库中的表也可能不规范。...参考:Difference Between OLTP and OLAP

1.9K2 0

mysql docker搭建

1.搭建之前先看一下搭建好的目录结构 ?...的外层目录创建.env文件 .env MYSQL_ROOT_PASSWORD=root MYSQL_ROOT_HOST=%...MYSQL_DIR=....MYSQL_ROOT_HOST: $ { MYSQL_ROOT_HOST...- "${MYSQL_DIR}/config:/etc/mysql/conf.d"

1.3K2 0

MySQL 主从搭建

MySQL 主从（MySQL replication），主要用于 MySQL 的实时备份或者读写分离。主从复制可以将 MySQL 主数据库中的数据实时复制到一个或多个 MySQL 从数据库中。...#端口号 user=mysql #用户 basedir=/mysql/app/mysql #安装路径 datadir=/mysql/data/$MySql_Port/data #MySQL数据目录...socket=/mysql/data/$MySql_Port/mysql.sock #用于本地连接的socket文件目录 pid-file=/mysql/data/$MySql_Port/mysql.pid...#端口号 user=mysql #用户 basedir=/mysql/app/mysql #安装路径 datadir=/mysql/data/$MySql_Port/data #MySQL数据目录...socket=/mysql/data/$MySql_Port/mysql.sock #用于本地连接的socket文件目录 pid-file=/mysql/data/$MySql_Port/mysql.pid

5.2K1 0

mysql主从搭建

]# cat my.cnf [mysqld] log-bin=/var/log/mysql/mysql-bin server-id=1 innodb_flush_log_at_trx_commit =...1 sync_binlog = 1 port=3306 创建日志目录并赋予权限 mkdir /var/log/mysql chown -R mysql:mysql /var/log/mysql 重启数据库后...> 在主库上建立用于主从复制的账号 mysql> CREATE USER 'rep1'@'%'; mysql> GRANT REPLICATION SLAVE ON *.* TO 'rep1'@'...Your MySQL connection id is 1036 Server version: 5.7.21-log MySQL Community Server (GPL) Copyright (...',MASTER_LOG_FILE='mysql-bin.000003',MASTER_LOG_POS=154; mysql> start slave; 查看slave的状态 mysql> show slave

3.7K2 0

MySQL主从搭建

前言公司规定，生产环境中一旦与数据(缓存也不例外)扯上关系的一律不由k8s统一管理因此，别想一键式部署了，只能老老实实单独部署再此，就记录一下搭建过程，分享给小伙伴们，避免浪费时间废话不多说，...上车下载没有安装mysql，我这边也给大伙们准备了~ MySQL详细安装配置 1、master和node二台服务器，分别到/etc/my.cnf配置文件，在mysqld里添加一下属性 #master...[mysqld] server-id=101 log-bin = mysql-bin auto-increment-increment = 2 auto-increment-offset = 1000... #node [mysqld] server-id=103 log-bin = mysql-bin auto-increment-increment = 2 auto-increment-offset...= 1001 2、进入Mysql，分别为二台master创建各种的用户供对方使用温馨提示: 本案例为双主从，也就是master同步到node，node同步到master。

3.2K1 0

MySQL环境搭建

MySQL的下载、安装、配置 MySQL的4大版本软件的下载 MySQL8.0 版本的安装配置MySQL8.0 配置MySQL8.0 环境变量 MySQL5.7 版本的安装、配置安装失败问题 3...9、查看数据库的创建信息 10、删除表格 11、删除数据库 MySQL的编码设置 MySQL5.7中 MySQL8.0中 5....MySQL图形化管理工具 6. MySQL目录结构与源码主要目录结构 MySQL 源代码获取 7. 常见问题的解决 1....MySQL的卸载步骤1：停止MySQL服务打开“任务管理器”，在“服务”列表找到“MySQL8.0”的服务，右键单击服务，选择“停止”选项停止MySQL8.0的服务，如图所示。...# 启动 MySQL 服务命令： net start MySQL服务名 # 停止 MySQL 服务命令： net stop MySQL服务名这里以服务MySQL80为例：自带客户端的登录与退出

5.6K3 0

mysql主从搭建

MySQL 主从搭建可以实现数据的实时备份和负载均衡。其中，主服务器负责写入操作，从服务器负责读取操作。以下是搭建 MySQL 主从架构的步骤：环境准备确保主从服务器上已经安装好 MySQL。...配置主服务器编辑主服务器的 MySQL 配置文件（例如：/etc/mysql/mysql.conf.d/mysqld.cnf 或 /etc/my.cnf）： [mysqld] server-id =...systemctl restart mysql 创建用于复制的用户： mysql> CREATE USER 'repl'@'%' IDENTIFIED BY 'your_password'; mysql...配置从服务器编辑从服务器的 MySQL 配置文件： [mysqld] server-id = 2 relay-log = mysql-relay-bin log_bin = mysql-bin 重启...MySQL 服务： sudo systemctl restart mysql 配置从服务器连接主服务器在从服务器上执行以下命令，连接到主服务器： mysql> CHANGE MASTER TO

1.6K2 0

mysql搭建主从

mysql主从搭建搭建mysql主从的目的是让一台mysql作为主数据库，一台或多台mysql作为从数据库，主数据库只负责数据的写入，从数据库只负责数据的查询（读写分离），且主从数据库是实时同步的，这样就可以减轻单个数据库压力...# 为什么要搭建mysql主从？...提高并发量（两台机器）主mysql 从mysql，当主mysql数据发送变化，从mysql也跟着变化 # mysql版本必须一致,两个库的server-id 不能一致 # docker 模拟...# 创建文件夹 mysql 配置文件 # 创建文件夹 mysql2 配置文件 docker run -di -v /home/mysql/data/:/var/lib/mysql -v /home.../mysql/conf.d:/etc/mysql/conf.d -v /home/mysql/my.cnf:/etc/mysql/my.cnf -p 33307:3306 --name mysql-master

2.5K1 0

点击加载更多

相关资讯

热门标签

活动推荐

运营活动

活动名称

广告关闭