专栏首页杨建荣的学习笔记MySQL DBA工作突围的一个入口-慢日志

MySQL DBA工作突围的一个入口-慢日志

这是学习笔记的第 1725 篇文章

在MySQL中,对于性能问题诊断,最开始的时候总是感觉有些束手无策,如果一个人问你,MySQL数据库响应慢了,该怎么办,如果数据库服务器CPU 100%了该怎么吧,或者数据库连接不上了,业务提示无法连接该怎么办,看起来好像没有太大的关系的问题,其实我们能够分析的一个入口就是日志。

在系统层面,其实所能做的工作实在有限,因为MySQL是单进程多线程的架构,我们看到的连接是在线程层面的。 所以除了看到一个mysqld的进程CPU 100%之外,我们想要看到更多MySQL层面的信息就很有限了,所以系统层面的日志只能告诉你MySQL层面有资源问题,但是无法告诉你更多。

那么来看MySQL的错误日志,这个错误日志的信息也是有限,如果出现了SQL性能问题的时候,错误日志的粒度是无法探测到根因的,所以很可能我们通过日志看不到主要的错误,一旦出现的时候,其实问题已经是影响比较严重的了。

那么我们分析问题的一个必然之路就是MySQL层面提供的明细信息了,这个可以体现在通用日志或者慢日志层面。通用日志在极少数的情况下,我们才可能会去用,基本就是随用随开,用完即关,因为日志量大多数情况下都太大了。 那么我们的选择其实就是慢日志了,你想想到了这个时候,你还能够参考什么。

在Oracle里面有一个性能诊断模型是OWI,是基于等待事件所做的分析,里面有经典的3A工具(AWR,ASH,ADDM), 看 起来和MySQL不搭边,所幸的是MySQL的sys schema就是一个好的开始,等待事件也补充起来了。 这让我看到了一个Oracle 9i版本迭代的过程,9i想当年也是一个很经典的版本,也是风尘仆仆的迈过了10g,11g,到了现在的cloud,(12c,18c,19c...).

MySQL在短时间内不会出现经典的3A工具,但是慢日志就是我们改善DBA现状的一把利器。 慢日志层面分析好了,那么我们的工作现状就会大大改善 。

我提两个问题大家思考一下,是不是开发同学很多时候都希望DBA提供慢日志供他们参考,或者DBA也希望做一些慢日志的分析(无论是在线还是离线)。这其实是两个维度的工作,但是都指向了同一个终点,那就是性能优化。 看慢日志的最终目的无非就是解决存在的,潜在的性能问题,如果问题没有发生,那就是潜在问题,我们只能通过慢日志去查看,查看的基准就是SQL的执行性能差一些。这个维度看起来有些缺少理论支撑,只追求短平快,但是细细想来也是合理有效。SQL问题无非体现在几个维度,执行时间长,全表扫描,资源使用率高,这几个维度,慢日志可以涵盖大多数,比如执行时间的问题,超过阈值就会记录,全表扫描的问题,如果没有走索引也会记录(有个参数 log_queries_not_using_indexes)

慢日志的分析工具有多少呢,简单来说有这么些。

  1. mysqldumpslow
  2. mysqlsla 基于perl
  3. myprofi 基于php
  4. mysql-explain-slow-log 基于perl
  5. mysql-log-filter 基于python,php
  6. pt-query-digest 基于perl

第1个mysqldumpslow是原生的,其他的都是第三方的。

还有第三方的平台,比如开源工具 Anemometer

github链接是 https://github.com/box/Anemometer

一个项目如果star过千,已经能够说明有一定的影响力了。

当然还有很多基于ES的方案。

我们来简单看下慢日志的一个演化方案。

我执行了3条SQL

select *from test; 执行2次

select *from cmdb_server; 执行1次

mysqlslowlog得到的结果如下:

Reading mysql slow query log from /data/mysql/dev01-slow.log

Count: 1 Time=0.00s (0s) Lock=0.00s (0s) Rows=586.0 (586), root[root]@localhost

select *from cmdb_server

Count: 2 Time=0.00s (0s) Lock=0.00s (0s) Rows=3.0 (6), root[root]@localhost

select *from test

其实是有些简陋的。

如果看下pt-query-digest的结果,就会看到专业的输出。

里面有个很核心的概念就是response time.

有了这个我们就可以做更多的性能问题诊断了。

比如文件过大,按照时间范围来统计

  1. 考虑同比环比
  2. 考虑快照
  3. 考虑SQL排行榜
  4. 集群环境的SQL问题

本文分享自微信公众号 - 杨建荣的学习笔记(jianrong-notes),作者:杨建荣

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2018-08-26

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 通过shell脚本添加备库日志 (r9笔记第94天)

    今天下午的时候,准备顺手写一个简单的脚本,但是发现很多事情较真起来真是寸步难行。在写脚本的过程中碰到了太多的问题,很多时候感觉像要实现的功能更通用,就得做更多的...

    jeanron100
  • MySQL慢日志优化的一个案例分析

    首先问题的现象是慢日志报警比较多,这是一套内部运维业务的数据库,涉及两个独立的数据库,我们暂且称为devopsdb(运维管理系统数据库),taskopsdb(任...

    jeanron100
  • Oracle数据库端口突然无法访问的分析(r12笔记第46天)

    最近碰到一个蛮有启发意义的案例。是数据库监听相关的,但是实际的原因却又出乎意料。 问题的反馈受益于开发同学,一个开发同学在lync上找到我,说现在一个线上业...

    jeanron100
  • Spring Boot中集成Slf4j 与Logback

    每个系统中都会有个日志,不管你是自己实现的单纯写文件,还是利用多功能的日志框架,大的系统会有相应的日志系统。什么是日志门面?什么是日志框架?SpringBoot...

    酒馆丁老师
  • 技术连载:LinkedIn大数据后台如何运作-1

    大数据文摘
  • 【程序源代码】《Spring Boot开发笔记》日志管理​

    这套笔记和源码是我自己在学习springboot开发中实际一个字一个字敲出来的。因为这套开发笔记是逐步整理出来的,每期会介绍不同的技术开发点。所以请大家关注公众...

    程序源代码
  • 开源日志框架的原理与分析(下)

    #开发代码时要有意识的设想代码出现问题时的场景,针对场景记录关键程序的运行信息,容易定位问题

    疯狂的KK
  • 日志中的用户隐私安全

    对于敏捷团队,安全卡应该提到比业务卡更高的优先级,同样需要放在backlog里面进行track,需要kick off、deskcheck,需要一个正经的流程或者...

    ThoughtWorks
  • Kubernetes日志收集解决方案

    在大规模集群部署的场景下,容器实例会部署到多个节点上,节点以及节点上的应用产生的日志会随之分散在各个容器的主机上,传统的集群应用大多在本地持久化,这给整个应用系...

    用户5166556
  • 【程序源代码】《Spring Boot开发笔记》日志管理​

    这套笔记和源码是我自己在学习springboot开发中实际一个字一个字敲出来的。因为这套开发笔记是逐步整理出来的,每期会介绍不同的技术开发点。所以请大家关注公众...

    程序源代码

扫码关注云+社区

领取腾讯云代金券