一次数据库响应缓慢的问题排查(r2第9天)

今天客户说有一个job跑的特别慢。想看看到底是不是数据库这边有什么问题了。 使用top来查看,io wait奖金30%,已经算是负载比较重的了。

和客户确认从什么时候发现速度开始变慢的,他们说大概是从中午以后。 使用sar来看一下,确实是从iowait从:1:00开始有了大量的io

10:40:01 AM       CPU     %user     %nice   %system   %iowait    %steal     %idle
10:50:02 AM       all      7.59      0.00      1.38      3.82      0.00     87.21
11:00:01 AM       all      7.59      0.00      1.48      4.21      0.00     86.72
11:10:01 AM       all      7.46      0.00      1.69      4.52      0.00     86.33
11:20:01 AM       all      7.59      0.00      1.66      4.61      0.00     86.14
11:30:01 AM       all      7.47      0.00      1.53      4.37      0.00     86.62
11:40:01 AM       all      6.40      0.00      0.73      2.17      0.00     90.71
11:50:01 AM       all      6.04      0.00      0.55      1.51      0.00     91.89
12:00:02 PM       all      5.92      0.00      0.54      1.64      0.00     91.91
12:10:01 PM       all      5.95      0.00      0.82      2.01      0.00     91.23
12:20:02 PM       all      6.28      0.00      0.82      1.92      0.00     90.98
12:30:01 PM       all      6.82      0.00      0.90      2.06      0.00     90.22
12:40:01 PM       all      7.94      0.00      1.47      3.52      0.00     87.06
12:50:01 PM       all      8.01      0.00      1.55      3.78      0.00     86.65
01:00:01 PM       all      8.45      0.00      1.27     26.44      0.00     63.83
01:10:01 PM       all      7.28      0.00      1.05     47.89      0.00     43.78
01:20:01 PM       all      7.25      0.00      0.96     47.00      0.00     44.78
01:30:02 PM       all      7.62      0.00      1.04     44.31      0.00     47.03
01:40:01 PM       all      7.80      0.00      1.14     40.77      0.00     50.29
01:50:02 PM       all      7.99      0.00      1.15     44.40      0.00     46.46
02:00:01 PM       all      7.90      0.00      1.15     38.89      0.00     52.07
02:10:01 PM       all      7.16      0.00      1.15     43.83      0.00     47.85
02:20:01 PM       all      7.27      0.00      1.06     38.18      0.00     53.49
02:30:01 PM       all      7.29      0.00      1.04     35.64      0.00     56.03
02:40:01 PM       all      7.13      0.00      1.13     43.12      0.00     48.62
02:50:01 PM       all      8.45      0.01      1.36     43.24      0.00     46.95
03:00:02 PM       all      7.89      0.00      1.20     36.92      0.00     53.98
03:10:01 PM       all      6.73      0.00      1.09     42.51      0.00     49.68
03:20:02 PM       all      6.82      0.00      0.96     42.68      0.00     49.54
03:30:01 PM       all      6.64      0.00      0.95     44.15      0.00     48.26
03:40:02 PM       all      7.19      0.00      1.09     37.35      0.00     54.36
03:50:01 PM       all      6.70      0.00      1.06     39.24      0.00     53.00
04:00:02 PM       all      6.70      0.00      1.04     43.66      0.00     48.60
04:10:01 PM       all      6.98      0.00      1.08     40.17      0.00     51.77
04:20:02 PM       all      6.96      0.00      1.02     31.54      0.00     60.48
Average:          all      6.41      0.00      0.75      9.96      0.00     82.87

对于cpu的使用率高的问题,据我所知,这几天在做性能测试,cpu的消耗是可以接受的。 但是io的问题得有一个让人信服的结论,于是我使用dd来做了一个简单地测试,发现确实有很大的差距,所以问题可以和unix team来协调了。

> time dd if=/dev/zero bs=1M count=204 of=direct_200M
414+0 records in
414+0 records out
434110464 bytes (434 MB) copied, 103.742 seconds, 4.2 MB/s

在另外一个环境中做了对比测试,

> time dd if=/dev/zero bs=1M count=204 of=direct_200M
204+0 records in
204+0 records out
213909504 bytes (214 MB) copied, 1.44182 seconds, 148 MB/s

real    0m1.445s
user    0m0.001s
sys     0m0.039s

原文发布于微信公众号 - 杨建荣的学习笔记(jianrong-notes)

原文发表时间:2014-06-20

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏Python自动化测试

对接口自动化测试的几点思考(一)

在自动化的测试体系中,目前应用的比较多,包含了UI自动化测试和接口自动化测试,在UI的自动化测试中使用最广泛的是Selenium框架,移动端是Ap...

1104
来自专栏大前端开发

从编程小白到全栈开发:理解前后端

上一篇文章中让你安装的软件安装好了没?那些操作都尝试做了一遍没?没有的话,赶紧回头去再看一遍文章,动起手来吧。学编程,如果说有捷径的话,实操就是最好的捷径!

1644
来自专栏CSDN技术头条

为什么要从PHP转向Go,及满足于使用MySQL

? 左:ElePHPant(Vincent Pontier),右:Gophers (golang.org)。此二者分别是PHP和Golang的吉祥物 【译者注...

36110
来自专栏腾讯移动品质中心TMQ的专栏

腾讯TMQ在线沙龙回顾|测试左移实践

测试左移实践 活动时间:2017年6月28日 QQ群视频交流 活动主题:TMQ在线沙龙第二十三期分享 本次分享的主题是:测试左移实践 共有214位测试小伙伴报名...

2018
来自专栏腾讯大讲堂的专栏

你好,我是小程序【正式上线】

2017年1月9日,小程序如约而至。 小程序究竟该如何获取?首先,你需要将微信更新至iOS6.5.3版本或Android6.5.3版本,其次,你得尝试使用一个小...

2275
来自专栏企鹅号快讯

高可用性的前生今世

题记:今天是2018年1月1日,这是一个特殊的日子,民间称为“三头”,意思是周头、月头、年头;我把它称为“3A”,指Kerberos协议的3A。无独有偶的是今年...

1987
来自专栏WeTest质量开放平台团队的专栏

【iOS性能测试工具】五步快速上手指南

WeTest 提供的iOS性能测试工具包括兼容测试、性能测试、功能测试等,测试结果包括CPU消耗、内存消耗、Log日志、错误原因及分析。

1012
来自专栏技术博文

你应该了解Nginx的7个原因

Nginx ("engine x")是一个高性能的HTTP和反向代理服务器,也是一款轻量级的Web 服务器/反向代理服务器及电子邮件(IMAP/POP3)代理服...

3189
来自专栏Petrichor的专栏

Python核心团队计划2020年停止支持Python2

Python 核心团队计划在 2020 年停止支持 Python 2。NumPy 自 2010 年以来同时并行支持 Python 2 和 Python 3,但是...

995
来自专栏韩伟的专栏

经典软件架构模式

目录 (一) 架构模式是什么 (二) 分层模式案例 (三) 微核模式案例 (四) 管道与过滤器案例 (五) MVC模式案例 (六) REST模式案例 (七) S...

3935

扫码关注云+社区