作者:刘安
爱可生测试团队成员,主要负责 TXLE 开源项目相关测试任务,擅长 Python 自动化测试开发,最近醉心于 Linux 性能分析优化的相关知识。
本文来源:原创投稿
*爱可生开源社区出品,原创内容未经授权不得随意使用,转载请联系小编并注明来源。
最近在极客时间上学习《Linux 性能优化实战》,接触到了基于 eBPF 的 BCC 软件包。今天来分享一下 bcc 软件包中用来观测 MySQL 的几个工具。
1. 什么是 BPF 和 eBPF
实际上 tcpdump 使用的 libpcap 就是基于 BPF 的。而接下来我们要介绍的基于 eBPF 的 bcc 软件包可以简单的理解为过滤内核运行信息的 "tcpdump"。
以下是一张 BPF 的工作流程图:
2. 什么是 bcc
3. 安装 bcc
# Ubuntu
sudo apt-key adv --keyserver keyserver.ubuntu.com --recv-keys 4052245BD4284CDD
echo "deb https://repo.iovisor.org/apt/$(lsb_release -cs) $(lsb_release -cs) main" | sudo tee /etc/apt/sources.list.d/iovisor.list
sudo apt-get update
sudo apt-get install bcc-tools libbcc-examples linux-headers-$(uname -r)
export PATH=$PATH:/usr/share/bcc/tools
# CentOS
yum install bcc-tools
export PATH=$PATH:/usr/share/bcc/tools
以 CentOS 7.7 的系统为例,安装后的工具集如下:
[root@liuan tools]# ls
argdist btrfsslower dbslower ext4dist gethostlatency killsnoop nfsslower perlflow pythonflow rubystat solisten tclobjnew tcpstates vfsstat
bashreadline cachestat dbstat ext4slower hardirqs lib nodegc perlstat pythongc runqlat sslsniff tclstat tcpsubnet wakeuptime
biolatency cachetop dcsnoop filelife javacalls llcstat nodestat phpcalls pythonstat runqlen stackcount tcpaccept tcptop xfsdist
biosnoop capable dcstat fileslower javaflow mdflush offcputime phpflow reset-trace runqslower statsnoop tcpconnect tcptracer xfsslower
biotop cobjnew deadlock_detector filetop javagc memleak offwaketime phpstat rubycalls shmsnoop syncsnoop tcpconnlat tplist
bitesize cpudist deadlock_detector.c funccount javaobjnew mountsnoop oomkill pidpersec rubyflow slabratetop syscount tcpdrop trace
bpflist cpuunclaimed doc funclatency javastat mysqld_qslower opensnoop profile rubygc sofdsnoop tclcalls tcplife ttysnoop
btrfsdist criticalstat execsnoop funcslower javathreads nfsdist perlcalls pythoncalls rubyobjnew softirqs tclflow tcpretrans vfscount
4. 使用 bcc 工具观测 MySQL:
1)dbstat
功能:将 MySQL/PostgreSQL 的查询延迟汇总为直方图
语法:
dbstat [-h] [-v] [-p [PID [PID ...]]] [-m THRESHOLD] [-u] [-i INTERVAL]
{mysql,postgres}
选项:
{mysql,postgres} # 观测哪种数据库
-h, --help # 显示帮助然后退出
-v, --verbose # 显示BPF程序
-p [PID [PID ...]], --pid [PID [PID ...]] # 要观测的进程号,空格分隔
-m THRESHOLD, --threshold THRESHOLD # 只统计查询延迟比此阈值高的
-u, --microseconds # 以微秒为时间单位来显示延迟(默认单位:毫秒)
-i INTERVAL, --interval INTERVAL # 打印摘要的时间间隔(单位:秒)
示例:
# 使用 sysbench 在被观测数据库上执行 select
[root@liuan tools]# dbstat mysql -p `pidof mysqld` -u
Tracing database queries for pids 3350 slower than 0 ms...
^C[14:42:26]
query latency (us) : count distribution
0 -> 1 : 0 | |
2 -> 3 : 0 | |
4 -> 7 : 0 | |
8 -> 15 : 0 | |
16 -> 31 : 0 | |
32 -> 63 : 0 | |
64 -> 127 : 0 | |
128 -> 255 : 0 | |
256 -> 511 : 0 | |
512 -> 1023 : 491612 |****************************************|
1024 -> 2047 : 46152 |**** |
2048 -> 4095 : 261 | |
4096 -> 8191 : 1 | |
8192 -> 16383 : 3 | |
2)dbslower
功能:跟踪 MySQL/PostgreSQL 的查询时间高于阈值
语法:
dbslower [-h] [-v] [-p [PID [PID ...]]] [-x PATH] [-m THRESHOLD]
{mysql,postgres}
参数:
{mysql,postgres} # 观测哪种数据库
-h, --help # 显示帮助然后退出
-v, --verbose # 显示BPF程序
-p [PID [PID ...]], --pid [PID [PID ...]] # 要观测的进程号,空格分隔
-m THRESHOLD, --threshold THRESHOLD # 只统计查询延迟比此阈值高的
-x PATH, --exe PATH # 数据库二进制文件的位置
示例:
# 使用sysbench在被观测数据库上执行update_index
[root@liuan tools]# dbslower mysql -p `pidof mysqld` -m 2
Tracing database queries for pids 3350 slower than 2 ms...
TIME(s) PID MS QUERY
1.765087 3350 2.996 UPDATE sbtest1 SET k=k+1 WHERE id=963
3.187147 3350 2.069 UPDATE sbtest1 SET k=k+1 WHERE id=628
5.945987 3350 2.171 UPDATE sbtest1 SET k=k+1 WHERE id=325
7.771761 3350 3.853 UPDATE sbtest1 SET k=k+1 WHERE id=595
5. 使用限制