一次数据库响应缓慢的问题排查(r2第9天)

今天客户说有一个job跑的特别慢。想看看到底是不是数据库这边有什么问题了。 使用top来查看,io wait奖金30%,已经算是负载比较重的了。

和客户确认从什么时候发现速度开始变慢的,他们说大概是从中午以后。 使用sar来看一下,确实是从iowait从:1:00开始有了大量的io

10:40:01 AM       CPU     %user     %nice   %system   %iowait    %steal     %idle
10:50:02 AM       all      7.59      0.00      1.38      3.82      0.00     87.21
11:00:01 AM       all      7.59      0.00      1.48      4.21      0.00     86.72
11:10:01 AM       all      7.46      0.00      1.69      4.52      0.00     86.33
11:20:01 AM       all      7.59      0.00      1.66      4.61      0.00     86.14
11:30:01 AM       all      7.47      0.00      1.53      4.37      0.00     86.62
11:40:01 AM       all      6.40      0.00      0.73      2.17      0.00     90.71
11:50:01 AM       all      6.04      0.00      0.55      1.51      0.00     91.89
12:00:02 PM       all      5.92      0.00      0.54      1.64      0.00     91.91
12:10:01 PM       all      5.95      0.00      0.82      2.01      0.00     91.23
12:20:02 PM       all      6.28      0.00      0.82      1.92      0.00     90.98
12:30:01 PM       all      6.82      0.00      0.90      2.06      0.00     90.22
12:40:01 PM       all      7.94      0.00      1.47      3.52      0.00     87.06
12:50:01 PM       all      8.01      0.00      1.55      3.78      0.00     86.65
01:00:01 PM       all      8.45      0.00      1.27     26.44      0.00     63.83
01:10:01 PM       all      7.28      0.00      1.05     47.89      0.00     43.78
01:20:01 PM       all      7.25      0.00      0.96     47.00      0.00     44.78
01:30:02 PM       all      7.62      0.00      1.04     44.31      0.00     47.03
01:40:01 PM       all      7.80      0.00      1.14     40.77      0.00     50.29
01:50:02 PM       all      7.99      0.00      1.15     44.40      0.00     46.46
02:00:01 PM       all      7.90      0.00      1.15     38.89      0.00     52.07
02:10:01 PM       all      7.16      0.00      1.15     43.83      0.00     47.85
02:20:01 PM       all      7.27      0.00      1.06     38.18      0.00     53.49
02:30:01 PM       all      7.29      0.00      1.04     35.64      0.00     56.03
02:40:01 PM       all      7.13      0.00      1.13     43.12      0.00     48.62
02:50:01 PM       all      8.45      0.01      1.36     43.24      0.00     46.95
03:00:02 PM       all      7.89      0.00      1.20     36.92      0.00     53.98
03:10:01 PM       all      6.73      0.00      1.09     42.51      0.00     49.68
03:20:02 PM       all      6.82      0.00      0.96     42.68      0.00     49.54
03:30:01 PM       all      6.64      0.00      0.95     44.15      0.00     48.26
03:40:02 PM       all      7.19      0.00      1.09     37.35      0.00     54.36
03:50:01 PM       all      6.70      0.00      1.06     39.24      0.00     53.00
04:00:02 PM       all      6.70      0.00      1.04     43.66      0.00     48.60
04:10:01 PM       all      6.98      0.00      1.08     40.17      0.00     51.77
04:20:02 PM       all      6.96      0.00      1.02     31.54      0.00     60.48
Average:          all      6.41      0.00      0.75      9.96      0.00     82.87

对于cpu的使用率高的问题,据我所知,这几天在做性能测试,cpu的消耗是可以接受的。 但是io的问题得有一个让人信服的结论,于是我使用dd来做了一个简单地测试,发现确实有很大的差距,所以问题可以和unix team来协调了。

> time dd if=/dev/zero bs=1M count=204 of=direct_200M
414+0 records in
414+0 records out
434110464 bytes (434 MB) copied, 103.742 seconds, 4.2 MB/s

在另外一个环境中做了对比测试,

> time dd if=/dev/zero bs=1M count=204 of=direct_200M
204+0 records in
204+0 records out
213909504 bytes (214 MB) copied, 1.44182 seconds, 148 MB/s

real    0m1.445s
user    0m0.001s
sys     0m0.039s

原文发布于微信公众号 - 杨建荣的学习笔记(jianrong-notes)

原文发表时间:2014-06-20

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏华章科技

Gartner公布2017年十大战略科技发展趋势

全球领先的信息技术研究和顾问公司Gartner近日重点介绍了对大多数企业具有战略性意义的2017年重大科技发展趋势。

661
来自专栏云计算D1net

公共云如何推动新兴技术的发展

到目前为止,大多数企业领导者都已了解云计算的价值。很多人都已经采用软件即服务(SaaS)、基础设施即服务(IaaS)和平台即服务(PaaS),现在他们正在寻求扩...

3095
来自专栏孟永辉

演变成为一种生活方式:互联网金融发展新时代来临

3209
来自专栏人工智能快报

【生物识别】2020年银行领域的生物识别市场将达110亿美元

市场研究公司Goode Intelligence总结了生物识别技术在金融服务领域的五大应用趋势。该公司预测,到2020年该领域的市场规模将达110亿美元。 该公...

2553
来自专栏AI科技评论

动态 | 百度成立深度学习技术平台部,加持 PaddlePaddle 研发和推广

AI 科技评论按:作为人工智能时代的基础,深度学习一直是人工智能最热门的、企业投入最多的研究领域之一。近日,百度宣布成立深度学习技术平台部,汇聚更多的 AI 科...

663
来自专栏孟永辉

消费金融引发嬗变,金融行业未来将有哪些可能?

33111
来自专栏孟永辉

支付宝刷脸支付上线,新金融将有哪些可能性?

2876
来自专栏ATYUN订阅号

SingularityNET与DeepBrain Chain合作实现平台互通,推进AI去中心化

随着人们越来越关注由少数科技巨头和世界各国政府控制的人工智能算法,SingularityNET团队一直在努力工作,目标是创造:

1017
来自专栏人称T客

2016云计算报告:安全不再是头号挑战 混合云高速发展

根据RightScale最新的云计算调查报告,随着 DevOps 和 Docker 的使用持续火爆,混合云部署获得了高速发展。 本报告调查了1000多名技术从...

2684
来自专栏企鹅号快讯

我国区块链产业发展迅速,有望走在世界前列

在第四次工业革命时代,随着人类在信息产生、获取和处理成本上的逐步降低,越来越多的技术可以支撑原有的商业模式向分布式进行转移,区块链便是其中之一。近年来区块链技术...

1850

扫描关注云+社区