前面我们分析了职场基本功、数据指标体系,少量的数据仓库内容,今天我们来就工作中经常遇到的数据维护问题,聊一下流量日志的维度表搭建思考。...历史导读: 小进阶:数据指标体系和数据治理的管理 小诀窍:不妨尝试从交付质量上打败对手 小尝试:基于指标体系的数据仓库搭建和数据可视化 以下,Enjoy: 0x01 问题场景描述 0x01 我遇见的问题场景描述...前面文章中我们提到过《基于指标体系的数据仓库搭建和数据可视化》,强调了指标体系对数据数据仓库搭建和数据可视化的必要性和重要性。
2.数据仓库的发展 数据仓库有两个环节:数据仓库的构建与数据仓库的应用。...下游应用根据业务需求选择直接读取DM或加一层数据服务,比如mysql 或 redis。...( 2)参考后面的案例 另外,随着数据多样性的发展,数据仓库这种提前规定schema的模式显得越来难以支持灵活的探索&分析需求,这时候便出现了一种数据湖技术,即把原始数据全部缓存到某个大数据存储上,后续分析时再根据需求去解析原始数据...5.实时数仓案例 菜鸟仓配实时数据仓库 本案例参考自菜鸟仓配团队的分享,涉及全局设计、数据模型、数据保障等几个方面。...开源提供类似功能的有,Elastic Search、Kylin、Druid等; 2.案例中选择把数据写入到Hbase供KV查询,也可根据情况选择其他引擎,比如数据量不多,查询压力也不大的话,可以用mysql
数据仓库的趋势: 实时数据仓库以满足实时化&自动化决策需求; 大数据&数据湖以支持大量&复杂数据类型(文本、图像、视频、音频); 2.数据仓库的发展 数据仓库有两个环节:数据仓库的构建与数据仓库的应用...下游应用根据业务需求选择直接读取DM或加一层数据服务,比如mysql 或 redis。...(2)参考后面的案例 另外,随着数据多样性的发展,数据仓库这种提前规定schema的模式显得越来难以支持灵活的探索&分析需求,这时候便出现了一种数据湖技术,即把原始数据全部缓存到某个大数据存储上,后续分析时再根据需求去解析原始数据...(3) 5.实时数仓案例 菜鸟仓配实时数据仓库 本案例参考自菜鸟仓配团队的分享,涉及全局设计、数据模型、数据保障等几个方面。 注:特别感谢缘桥同学的无私分享。...开源提供类似功能的有,Elastic Search、Kylin、Druid等; 2.案例中选择把数据写入到Hbase供KV查询,也可根据情况选择其他引擎,比如数据量不多,查询压力也不大的话,可以用mysql
今天发现网站页面打开非常慢,对处理过程简单记录了一下 找问题 首先登录服务器使用 top 查看当前进程信息,发现排名第一的是 mysql,占用 cpu 达到了 100% 以上,这就明确了是 mysql...的问题 登录 mysql,使用 show processlist 查看下当前执行状态,发现了大量 LOCK 操作,也有多个 Copying to tmp table 的操作,说明有 sql 出现了问题,...操作过于复杂,对临时表使用频繁,把其他操作阻塞了 解决 找到了问题后,把处理方向确定为 检查和修改配置、sql优化 (1)修改mysql配置 临时表 既然涉及了到了临时表,就先查看下目前临时表的信息 查看临时表的使用状态...; 在现在值的基础上增加一些,重新设置临时表大小 线程缓存数 看当前线程情况 show global status like 'Thread%'; 发现 threads_created 的值过大,表明MySQL...优化 从 show processlist 结果集中找出主要的复杂语句,对其进行 explain 和 profile 分析 进行索引优化,把复杂的sql 根据业务拆分为多个小的sql 以上过程完成后,mysql
) public void setAddress (String address) { HBaseConfig.address = address; } } 3、查询案例
-124-34 data]# ll total 157854040 -rw-r----- 1 mysql mysql 362 Apr 26 2018 ib_buffer_pool -...rw-r----- 1 mysql mysql 2818572288 May 13 14:41 ibdata1 -rw-r----- 1 mysql mysql 158792155136 May 13...14:40 ibtmp1 drwxr-x--- 2 mysql mysql 4096 Apr 18 2018 infra drwxr-x--- 2 mysql mysql...4096 Apr 18 2018 mysql 经过系统优化和业务协调需要做MySQL实例重启,已重置为初始大小,设置阈值为10G。...测试步骤如下: create table dic_fsm_info3 (classid varchar(30),etime varchar(30)); --可以根据业务特点创建索引 mysql>
往往会伴随着国庆期间业务要上相关的活动,那么今天就分享一个今年五一前夕(4月30日)上新活动中遇到的一个性能问题; 问题背景 五一前夕(4月30日)中午频繁的收到业务慢查询的告警 排查过程 查看mysql...tables in use 3, locked 3 LOCK WAIT 9186 lock struct(s), heap size 1220816, 13 row lock(s) MySQL thread...tables in use 3, locked 3 9180 lock struct(s), heap size 1220816, 5 row lock(s) MySQL thread id 299537...虽然性能上没多少影响,但比较好奇,在理解当中MySQL知识体系中是没有交集语法。...那么接下来看下表结构和索引结构: mysql >show create table dic_match_signup_userinfo_7\G *************************** 1
本文针对上一篇《MySQL优化案例分享》文章中提到的线上业务产生的一个死锁问题进行展开讨论,主要针对两个update操作导致的死锁的场景,借此机会正好总结下MySQL锁及分析下产生死锁的原因和解决方案;...首先,针对MySQL中提供的锁种类做一个简单的总结,关于更多MySQL锁相关的内容可参考官方文档; MySQL InnoDB存储引擎提供了如下几种锁: 1、共享/排他锁(S/X锁) 共享锁(S Lock...案例分析 MySQL版本:MySQL 5.7 隔离级别:RC Session1 Session2 T1 begin;select * from locktest where name=’test’ lock...tables in use 1, locked 1 LOCK WAIT 5 lock struct(s), heap size 1136, 3 row lock(s) MySQL thread id...MySQL之上加了一层redis缓存锁,防止多个事务同时更新一个数据,如果有其他的解决方法,欢迎大家留言讨论;
1.4 打标签 1.4.1 CLASSIFICATION分类 说明:按自己项目的需求划分不同得维度 1.4.2 GLOSSARY词汇表 说明:一个数据仓库项目有很多域,域下面还有很多层次,可以按自己项目需求规划
MySQL(本章节) PostgreSQL MongoDB Redis Etcd 上个小节我们对索引做了一个基本介绍,本小节我们就通过一个实际案例来理解这个索引。...测试数据 表结构 mysql> desc test_data; +---------------+--------------+------+-----+-------------------+----...mysql> select * from test_data where id=8000000; +---------+--------------------+--------------------...虽然MYSQL默认的慢查询时间是10秒,但是实际上很多业务系统配置慢查都是1-3秒。而且这个800w的数据其实并不多,而且表结构相对简单。...mysql> select * from test_data where value="Test value 1512488"; +---------+--------------------+----
// MySQL错误日志激增案例 // 今天中午,搭建好的一套主从环境中磁盘报警,登陆到相关环境,发现是MySQL的错误日志量非常大,于是使用tail -f命令查看了日志文件,发现该错误日志增长的速度非常快...动态修改复制过滤器 为了进一步确认问题,我查询了上面说到的二进制日志中的内容,我们可以使用"show binlog events in 'mysql-bin.001817' from 23565681...mysql系统数据库的所有操作,如下: ?...解决办法 1、查官方文档 文章最后面的错误码1237给了我一点提示,于是先查询了MySQL官方文档的错误码: https://dev.mysql.com/doc/refman/5.7/en/server-error-reference.html...2、查MySQL bug讨论区 功夫不负有心人,找到了: https://bugs.mysql.com/bug.php?
Mysql索引使用案例分析 1 Index Design 1.1 设计过程 考察只用排序 还是 先检索在排序(排序会限制索引使用)。 考察哪些列选择性更好,哪些列在where中最多。...=/home/mingjie.gmj/databases/data/mydata5470/tmp/mysql.sock --mysql-user=root --mysql-db=idxdb --db-driver...Using filesort:mysql 会对结果使用一个外部索引排序,而不是按索引次序从表里读取行。...测试准备 sysbench oltp_common --mysql-socket=/home/mingjie.gmj/databases/data/mydata5470/tmp/mysql.sock -...-mysql-user=root --mysql-db=idxdb --db-driver=mysql --tables=4 --table-size=10000000 --threads=128 prepare
为了保证GTID顺利的上线,在测试环境模拟各种故障场景,观察GTID 的表现 本文案例采用sandbox测试,GTID的一些关键测试参数如下 master-info-repository=table relay-log-info-repository...案例一 Master的UUID是00021800-1111-1111-1111-111111111111, Slave的UUID是 00021802-3333-3333-3333-333333333333...案例二 时间线 Master Slave 备注 t1 create table t1 生成的GTID为1111:1858 t2 STOP SLAVE 停止从库的线程 t3 RESET MASTER...111111111111:1859-1860 Executed_Gtid_Set: 00021800-1111-1111-1111-111111111111:1-1860 结语 案例一...案例二 人为操作导致relay log里面的事务顺序发生变化,导致报错,解决方式其实利用了slave crash safe原理,重启实例会删除relay log 重新拉取需要日志并记录到relay log
前阶段体验 Mysql 的新版本 5.7.13,由于机器里已经有 Mysql了,再安装另一个版本会有一些麻烦,为了简单,便使用 Docker 容器来安装 可能有人会认为没必要,在一台机器安装多个 Mysql...容器启动后,就可以进入 ubuntu 的 shell,进行正常操作,例如 [root@8f6f3cad2 /]# (4)把Mysql安装包拷贝到容器中 在主机中下载好 Mysql 5.7.13 的安装包...(5)在容器中安装运行 Mysql 在 ubuntu shell 下正常执行 Mysql 的安装操作,安装完成后,运行 Mysql 然后添加一个可以远程访问的用户,例如 test,密码 111111 (...6)在主机中连接 Mysql 在主机中使用 Mysql 的客户端进行连接,连接信息: Host - 分配给Docker的IP(可通过 Docker命令获得) Username - test Password...- 111111 Port - 3307 这样,一个完全独立的 Mysql 就安装完了,这只是 Docker 的一个简单应用场景,Docker 非常实用,现在的应用范围已经相当广泛,以后会介绍更多的用法和案例
`comment`) AS `TABLE_COMMENT`FROM (((((`mysql`.`tables` `tbl` JOIN `mysql`....`id`))) JOIN `mysql`.`catalogs` `cat` ON ((`cat`.`id` = `sch`....`id`))) LEFT JOIN `mysql`.`tablespaces` `ts` ON ((`tbl`.`tablespace_id` = `ts`....`id`))) LEFT JOIN `mysql`.`table_stats` `stat` ON (((`tbl`.`name` = `stat`.....啰嗦一句再啰嗦一句, 上面的mysql.innodb_index_stats中的信息我们我们也可以使用ibd2sql_web去验证.
为什么需要数据建模 数据仓库是一个面向主题的、集成的、时变的、非易失的数据集合。数据仓库中的数据需要进行有序、有结构地分类组织和存储。...全站行为数据仓库落地建设实践过程中,参考互联网行业内采用广泛的维度建模方法论,结合58商业自身特点,分析业务环境构造数据仓库底层数据基础,再按照实际的应用需求构造数据仓库上层数据的方式进行数据仓库的建设...全站行为数据仓库建设实践 下图为数据仓库中全站行为数据部分数据仓库体系架构图: _ _ ? _ _ 图1 全站行为数据架构图 1....全站行为数据仓库构建原则 全站行为数据仓库建设中,逐步借鉴和沉淀的数据仓库构建原则如下: (1) 底层业务的数据驱动为导向同时结合业务需求驱动。 (2) 便于数据分析。...数据仓库架构分层思想 数据仓库构建过程中,采用的分层思想,各层的功能及建模方式和原则介绍如下。
线上的SQL优化案例(一) 今天上班的时候,业务方询问了一个问题,说是某一服务每次在查询的时候会有0.5s的延迟,让DBA帮忙查一查到底是什么原因,听到0.5s的这个数字的时候,我感觉问题倒不是很严重...3、查看对应的表结构: mysql--dba_admin 12:59:09>>show create table account\G *************************** 1. row...| +-------------+ | 1 | +-------------+ 1 row in set (0.02 sec) mysql--dba_admin 12:02:25...改成单个字段的试试,这里我又把索引改成了: KEY `idx_accid` (`accountid`) 只保留一个字段,看看执行结果: mysql--dba_admin 13:12:17>>explain...建表语句如下: mysql--dba_admin 13:16:24>>show create table account\G *************************** 1. row ***
事实上 MySQL 本身就有 DDL 的监控手段吗,只是默认情况没有进行开启。 实践一下 测试环境使用了腾讯云数据库 MySQL 5.7,官方的 MySQL 8.0,5.7 版本基本同理。...首先需要打开performance_schema(腾讯云 MySQL 需要留意是否开启了这个参数),然后在setup_instruments表中开启 alter 操作对应的监控项以及p_f(performance_schema...table sbtest.sbtest1 modify c varchar(128) NOT NULL DEFAULT ''; 因为开启了 p_f 的参数,所以现在能在内存表里面看到具体的数据了: mysql...实际上运行的时间可以参考语句执行的具体时间: mysql> alter table sbtest.sbtest1 modify c varchar(120) NOT NULL DEFAULT '';...总结一下 其实 MySQL 自身已经集成了非常多的监控信息,有需求的时候可以多研究研究setup_instruments。
最近刚好也遇到了一个典型的死锁案例,本文会基于这个案例,做一次详细的分析与拆解。...问题描述 细节信息已脱敏,由于innodb engine status会记录最近一次死锁的细节信息,因此案例现场的信息是可以完整拿到的。...MySQL 的锁机制天然具备这个条件。 请求与保持条件:资源请求被阻塞时,已持有的资源不会被释放。 MySQL 不触发死锁回滚,且未进入 lockwait_timeout 的时候,具备这个条件。...所以只需要定位到具体锁的数据,找到循环等待的逻辑关系,就可以完成整个案例分析了。...而 trx2 持有的锁信息中,第一个刚好就是 trx1 等待的: [trx2 持有的锁] 那么关于这个死锁案例的具体场景,就可以用下有向环的图例进行说明: [死锁图例] 至此为止,这个死锁的案例分析就完成了