Lepus搭建企业级数据库慢查询分析平台

前言

Lepus的慢查询分析平台是独立于监控系统的模块,该功能需要使用percona-toolkit工具来采集和记录慢查询日志,并且需要部署一个我们提供的shell脚本来进行数据采集。该脚本会自动开启您数据库的慢查询日志,并对慢查询日志进行按小时的切割,并收集慢查询日志的数据到监控机数据库。随后您通过Lepus系统就可以分析慢查询了。

安装

安装 percona-toolkit

yum -y install perl perl-devel libaio libaio-devel perl-Time-HiRes perl-IO-Socket-SSL perl-DBI perl-DBD-MySQL

下载地址:https://www.percona.com/downloads/percona-toolkit/LATEST/

## 你也可以选择其他版本
wget https://www.percona.com/downloads/percona-toolkit/2.2.6/RPM/percona-toolkit-2.2.6-1.noarch.rpm

安装:

rpm -ivh percona-toolkit-2.2.6-1.noarch.rpm

开启慢查询分析

在 MySQL 服务器管理里面电击右侧的编辑按钮,进入服务器编辑界面,开启慢查询日志。

慢查询脚本

#!/bin/bash
#****************************************************************#
# ScriptName:/usr/local/sbin/lepus_slowquery.sh
# Create Date:2018-11-05
#***************************************************************#

# configlepus database server 监控端
lepus_db_host="192.168.1.180"
lepus_db_port=9002
lepus_db_user="lepus_user"
lepus_db_password="password"
lepus_db_database="lepus"

# configmysql server 被监控端
# 通过 which mysql 命令查询位置
mysql_client="/usr/local/mysql/bin/mysql"
mysql_host="192.168.1.190"
mysql_port=3306
mysql_user="root"
mysql_password="root"

# configslowqury
# 慢查询日志存放地址
slowquery_dir="/data/mysql/"
# 慢日志时间1s,可以自行定义
slowquery_long_time=1
# 获取被监控端慢日志存放位置
slowquery_file=`$mysql_client -h$mysql_host -P$mysql_port -u$mysql_user -p$mysql_password -e "show variables like 'slow_query_log_file';" | grep log | awk '{print $2}'`
# 通过 which pt-query-digest 命令查询位置
pt_query_digest=`/usr/bin/pt-query-digest`

# config server_id,从监控列表查找ID,必须一致,否则无法展示数据
lepus_server_id=1

# collect mysqlslowquery log into lepus database;
# 收集慢日志存储到天兔监控数据库
$pt_query_digest --user=$lepus_db_user --password=$lepus_db_password --port=$lepus_db_port --charset=utf8 --review h=$lepus_db_host,D=$lepus_db_database,t=mysql_slow_query_review --history h=$lepus_db_host,D=$lepus_db_database,t=mysql_slow_query_review_history --no-report --limit=100% --filter="\$event->{add_column} = length(\$event->{arg}) and\$event->{serverid}=$lepus_server_id " $slowquery_file 2> /dev/null

# set a new slowquery log;
tmp_log=`$mysql_client -h$mysql_host -P$mysql_port -u$mysql_user -p$mysql_password -e "select concat('$slowquery_dir','slow_',date_format(now(),'%Y%m%d%H'),'.log');" | grep log | sed -n -e '2p'`

# config mysqlslowquery;
$mysql_client -h$mysql_host -P$mysql_port -u$mysql_user -p$mysql_password -e "set global slow_query_log=1;set global long_query_time=$slowquery_long_time;" 2> /dev/null
$mysql_client -h$mysql_host -P$mysql_port -u$mysql_user -p$mysql_password -e "set global slow_query_log_file = '$tmp_log';" 2> /dev/null

# delete log before 7days;
cd $slowquery_dir
/usr/bin/find ./ -name 'slow_*' -mtime +7 | xargs rm -rf

配置完成后保存,并加入计划任务。因为慢查询做了按小时的切割,建议计划任务时间间隔在1小时之内。

将以上脚本加入定时任务:

crontab -e

写入脚本:

*/5 * * * * sh /usr/local/sbin/lepus_slowquery.sh > /dev/null 2>&1

这里,我们也可以手动执行看一下效果,登录监控端服务,查看慢查询相关参数:

mysql> show variables like 'slow_query%';
+---------------------------+--------------------------------------+
| Variable_name             | Value                                |
+---------------------------+--------------------------------------+
| slow_query_log            | OFF                                  |
| slow_query_log_file       | /data/mysql/slowquery_2018110609.log |
+---------------------------+--------------------------------------+

mysql> show variables like 'long_query_time';
+-----------------+-----------+
| Variable_name   | Value     |
+-----------------+-----------+
| long_query_time | 0.500000 |
+-----------------+-----------+

参数说明

  • slow_query_log 慢查询开启状态
  • slow_query_log_file 慢查询日志存放的位置(这个目录需要MySQL的运行帐号的可写权限,一般设置为MySQL的数据存放目录)
  • long_query_time 查询超过多少秒才记录

展示

配置完成后,稍等片刻,即可在慢查询分析平台查看该库的慢查询日志。

小结

被监控监控机通过 percona-toolkit 工具和 shell 脚本来采集慢查询日志并发送到监控机,Lepus的慢查询分析平台对采集数据进行展示和分析。

参考

http://www.lepus.cc/post/53

https://gitee.com/ruzuojun/Lepus/tree/master/client/mysql

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏面朝大海春暖花开

hibernate for循环执行添加操作出错问题

hibernate插入对象的时候,对于id唯一,数据库设置为自增的时候执行完操作后会将id赋予该对象

1121
来自专栏北京马哥教育

MySQL/MariaDB数据库备份与恢复

前言 数据库一般存放着企业最为重要的数据,它关系到企业业务能否正常运转,数据库服务器总会遇到一 些不可抗拒因素,导致数据丢失或损坏,而数据库备份可以帮助我们...

5336
来自专栏PHP实战技术

高可用架构-- MySQL主从复制的配置

环境 操作系统:CentOS-6.6-x86_64-bin-DVD1.iso MySQL版本:mysql-5.6.26.tar.gz 主节点IP:192.168...

3407
来自专栏码字搬砖

Hbase优化思路

1.rowkey设计 2.手动split,手动compant 3.开启booleamfilter 4.采用压缩 5.预分区 6.并发读写 ...

1254
来自专栏自由而无用的灵魂的碎碎念

将MySQL数据迁移到Oracle

因为项目的原因,今晚将mysql数据库的内容尝试迁移到oracle,虽然结果失败,不过学到了不少,下次就不一定了,哈哈

2011
来自专栏光变

Linux将中文目录名改为英文

修改系统当前语言环境export LANG=en_US 2.更新家目录的文… 转自链接:《红黑联盟》

1343
来自专栏喵了个咪的博客空间

基于PhalApi的Redis拓展

#基于PhalApi的Redis拓展 ? ##前言## 先在这里感谢phalapi框架创始人@dogstar,为我们提供了这样一个优秀的开源框架. 编写本次拓展...

3264
来自专栏杨建荣的学习笔记

datapump简介(一) (r6笔记第2天)

datapump是在10g之后推出的新特性,无论从功能还是性能上,都有一定的改进,可以说在功能上丰富了很多,在性能上也提升了很多。可以说exp/imp中能实现的...

2605
来自专栏pangguoming

CentOS7 安装 mysql8

本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/ManagementAndJava/article/details/80...

7962
来自专栏L宝宝聊IT

Mysql备份与还原——mysqldump结合binlog

MySQL 备份一般采取全库备份加日志备份的方式,例如每天执行一次全备份,每小时执行一次二进制日志备份。这样在 MySQL 故障后可以使用全备份...

1192

扫码关注云+社区

领取腾讯云代金券