首页
学习
活动
专区
圈层
工具
发布

数据仓库介绍与实时数仓案例

2.数据仓库的发展 数据仓库有两个环节:数据仓库的构建与数据仓库的应用。...下游应用根据业务需求选择直接读取DM或加一层数据服务,比如mysql 或 redis。...( 2)参考后面的案例 另外,随着数据多样性的发展,数据仓库这种提前规定schema的模式显得越来难以支持灵活的探索&分析需求,这时候便出现了一种数据湖技术,即把原始数据全部缓存到某个大数据存储上,后续分析时再根据需求去解析原始数据...5.实时数仓案例 菜鸟仓配实时数据仓库 本案例参考自菜鸟仓配团队的分享,涉及全局设计、数据模型、数据保障等几个方面。...开源提供类似功能的有,Elastic Search、Kylin、Druid等; 2.案例中选择把数据写入到Hbase供KV查询,也可根据情况选择其他引擎,比如数据量不多,查询压力也不大的话,可以用mysql

3.4K41
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    数据仓库介绍与实时数仓案例

    数据仓库的趋势: 实时数据仓库以满足实时化&自动化决策需求; 大数据&数据湖以支持大量&复杂数据类型(文本、图像、视频、音频); 2.数据仓库的发展 数据仓库有两个环节:数据仓库的构建与数据仓库的应用...下游应用根据业务需求选择直接读取DM或加一层数据服务,比如mysql 或 redis。...(2)参考后面的案例 另外,随着数据多样性的发展,数据仓库这种提前规定schema的模式显得越来难以支持灵活的探索&分析需求,这时候便出现了一种数据湖技术,即把原始数据全部缓存到某个大数据存储上,后续分析时再根据需求去解析原始数据...(3) 5.实时数仓案例 菜鸟仓配实时数据仓库 本案例参考自菜鸟仓配团队的分享,涉及全局设计、数据模型、数据保障等几个方面。 注:特别感谢缘桥同学的无私分享。...开源提供类似功能的有,Elastic Search、Kylin、Druid等; 2.案例中选择把数据写入到Hbase供KV查询,也可根据情况选择其他引擎,比如数据量不多,查询压力也不大的话,可以用mysql

    1.6K30

    mysql优化案例

    今天发现网站页面打开非常慢,对处理过程简单记录了一下 找问题 首先登录服务器使用 top 查看当前进程信息,发现排名第一的是 mysql,占用 cpu 达到了 100% 以上,这就明确了是 mysql...的问题 登录 mysql,使用 show processlist 查看下当前执行状态,发现了大量 LOCK 操作,也有多个 Copying to tmp table 的操作,说明有 sql 出现了问题,...操作过于复杂,对临时表使用频繁,把其他操作阻塞了 解决 找到了问题后,把处理方向确定为 检查和修改配置、sql优化 (1)修改mysql配置 临时表 既然涉及了到了临时表,就先查看下目前临时表的信息 查看临时表的使用状态...; 在现在值的基础上增加一些,重新设置临时表大小 线程缓存数 看当前线程情况 show global status like 'Thread%'; 发现 threads_created 的值过大,表明MySQL...优化 从 show processlist 结果集中找出主要的复杂语句,对其进行 explain 和 profile 分析 进行索引优化,把复杂的sql 根据业务拆分为多个小的sql 以上过程完成后,mysql

    1.3K50

    MySQL死锁案例分析

    本文针对上一篇《MySQL优化案例分享》文章中提到的线上业务产生的一个死锁问题进行展开讨论,主要针对两个update操作导致的死锁的场景,借此机会正好总结下MySQL锁及分析下产生死锁的原因和解决方案;...首先,针对MySQL中提供的锁种类做一个简单的总结,关于更多MySQL锁相关的内容可参考官方文档; MySQL InnoDB存储引擎提供了如下几种锁: 1、共享/排他锁(S/X锁) 共享锁(S Lock...案例分析 MySQL版本:MySQL 5.7 隔离级别:RC Session1 Session2 T1 begin;select * from locktest where name=’test’ lock...tables in use 1, locked 1 LOCK WAIT 5 lock struct(s), heap size 1136, 3 row lock(s) MySQL thread id...MySQL之上加了一层redis缓存锁,防止多个事务同时更新一个数据,如果有其他的解决方法,欢迎大家留言讨论;

    3.1K20

    MySQL错误日志激增案例

    // MySQL错误日志激增案例 // 今天中午,搭建好的一套主从环境中磁盘报警,登陆到相关环境,发现是MySQL的错误日志量非常大,于是使用tail -f命令查看了日志文件,发现该错误日志增长的速度非常快...动态修改复制过滤器 为了进一步确认问题,我查询了上面说到的二进制日志中的内容,我们可以使用"show binlog events in 'mysql-bin.001817' from 23565681...mysql系统数据库的所有操作,如下: ?...解决办法 1、查官方文档 文章最后面的错误码1237给了我一点提示,于是先查询了MySQL官方文档的错误码: https://dev.mysql.com/doc/refman/5.7/en/server-error-reference.html...2、查MySQL bug讨论区 功夫不负有心人,找到了: https://bugs.mysql.com/bug.php?

    2.7K20

    MySQL GTID日常维护案例

    为了保证GTID顺利的上线,在测试环境模拟各种故障场景,观察GTID 的表现 本文案例采用sandbox测试,GTID的一些关键测试参数如下 master-info-repository=table relay-log-info-repository...案例一 Master的UUID是00021800-1111-1111-1111-111111111111, Slave的UUID是 00021802-3333-3333-3333-333333333333...案例二 时间线 Master Slave 备注 t1 create table t1 生成的GTID为1111:1858 t2 STOP SLAVE 停止从库的线程 t3 RESET MASTER...111111111111:1859-1860 Executed_Gtid_Set: 00021800-1111-1111-1111-111111111111:1-1860 结语 案例一...案例二 人为操作导致relay log里面的事务顺序发生变化,导致报错,解决方式其实利用了slave crash safe原理,重启实例会删除relay log 重新拉取需要日志并记录到relay log

    1.9K10

    Docker容器案例:应用 Mysql

    前阶段体验 Mysql 的新版本 5.7.13,由于机器里已经有 Mysql了,再安装另一个版本会有一些麻烦,为了简单,便使用 Docker 容器来安装 可能有人会认为没必要,在一台机器安装多个 Mysql...容器启动后,就可以进入 ubuntu 的 shell,进行正常操作,例如 [root@8f6f3cad2 /]# (4)把Mysql安装包拷贝到容器中 在主机中下载好 Mysql 5.7.13 的安装包...(5)在容器中安装运行 Mysql 在 ubuntu shell 下正常执行 Mysql 的安装操作,安装完成后,运行 Mysql 然后添加一个可以远程访问的用户,例如 test,密码 111111 (...6)在主机中连接 Mysql 在主机中使用 Mysql 的客户端进行连接,连接信息: Host - 分配给Docker的IP(可通过 Docker命令获得) Username - test Password...- 111111 Port - 3307 这样,一个完全独立的 Mysql 就安装完了,这只是 Docker 的一个简单应用场景,Docker 非常实用,现在的应用范围已经相当广泛,以后会介绍更多的用法和案例

    1.7K30

    【实践案例分享】58全站用户行为数据仓库建设及实践

    为什么需要数据建模 数据仓库是一个面向主题的、集成的、时变的、非易失的数据集合。数据仓库中的数据需要进行有序、有结构地分类组织和存储。...全站行为数据仓库落地建设实践过程中,参考互联网行业内采用广泛的维度建模方法论,结合58商业自身特点,分析业务环境构造数据仓库底层数据基础,再按照实际的应用需求构造数据仓库上层数据的方式进行数据仓库的建设...全站行为数据仓库建设实践 下图为数据仓库中全站行为数据部分数据仓库体系架构图: _ _ ? _ _ 图1 全站行为数据架构图 1....全站行为数据仓库构建原则 全站行为数据仓库建设中,逐步借鉴和沉淀的数据仓库构建原则如下: (1) 底层业务的数据驱动为导向同时结合业务需求驱动。 (2) 便于数据分析。...数据仓库架构分层思想 数据仓库构建过程中,采用的分层思想,各层的功能及建模方式和原则介绍如下。

    1.7K20

    线上的MySQL优化案例

    线上的SQL优化案例(一) 今天上班的时候,业务方询问了一个问题,说是某一服务每次在查询的时候会有0.5s的延迟,让DBA帮忙查一查到底是什么原因,听到0.5s的这个数字的时候,我感觉问题倒不是很严重...3、查看对应的表结构: mysql--dba_admin 12:59:09>>show create table account\G *************************** 1. row...| +-------------+ | 1 | +-------------+ 1 row in set (0.02 sec) mysql--dba_admin 12:02:25...改成单个字段的试试,这里我又把索引改成了: KEY `idx_accid` (`accountid`) 只保留一个字段,看看执行结果: mysql--dba_admin 13:12:17>>explain...建表语句如下: mysql--dba_admin 13:16:24>>show create table account\G *************************** 1. row ***

    1.6K20

    MySQL 案例:如何监控DDL

    事实上 MySQL 本身就有 DDL 的监控手段吗,只是默认情况没有进行开启。 实践一下 测试环境使用了腾讯云数据库 MySQL 5.7,官方的 MySQL 8.0,5.7 版本基本同理。...首先需要打开performance_schema(腾讯云 MySQL 需要留意是否开启了这个参数),然后在setup_instruments表中开启 alter 操作对应的监控项以及p_f(performance_schema...table sbtest.sbtest1 modify c varchar(128) NOT NULL DEFAULT ''; 因为开启了 p_f 的参数,所以现在能在内存表里面看到具体的数据了: mysql...实际上运行的时间可以参考语句执行的具体时间: mysql> alter table sbtest.sbtest1 modify c varchar(120) NOT NULL DEFAULT '';...总结一下 其实 MySQL 自身已经集成了非常多的监控信息,有需求的时候可以多研究研究setup_instruments。

    2.1K90

    MySQL 案例:Update 死锁详解

    最近刚好也遇到了一个典型的死锁案例,本文会基于这个案例,做一次详细的分析与拆解。...问题描述 细节信息已脱敏,由于innodb engine status会记录最近一次死锁的细节信息,因此案例现场的信息是可以完整拿到的。...MySQL 的锁机制天然具备这个条件。 请求与保持条件:资源请求被阻塞时,已持有的资源不会被释放。 MySQL 不触发死锁回滚,且未进入 lockwait_timeout 的时候,具备这个条件。...所以只需要定位到具体锁的数据,找到循环等待的逻辑关系,就可以完成整个案例分析了。...而 trx2 持有的锁信息中,第一个刚好就是 trx1 等待的: [trx2 持有的锁] 那么关于这个死锁案例的具体场景,就可以用下有向环的图例进行说明: [死锁图例] 至此为止,这个死锁的案例分析就完成了

    16.5K175
    领券