前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >I/O告警分析思路

I/O告警分析思路

作者头像
李俊鹏
发布2020-06-12 15:07:32
1.5K0
发布2020-06-12 15:07:32
举报
文章被收录于专栏:运维研习社

记录一次IO告警分析过程

接到告警,服务器IO飙升,连接服务器,登录服务器查看分析

top命令查看

首先就是通过top命令查看,因为top命令最直接,且信息量够大,覆盖面够全,可以看到CPU的wa有点高

CPU的wa是是wait,是CPU等待时间,通常是由于磁盘IO问题引起,当然也有可能是其他原因引起的

top命令的其他参数就不多介绍了,网上很多,接着看IO

vmstat

vmstat是一个很强大的工具,它除了能给出系统在性能方面的CPU和内存的统计信息之外,也能提供系统整体上的I/O性能情况

如上图,vmstat采集系统性能信息,取3个样本,每秒采集一次

可以看到采集的数据中,系统写磁盘5032个磁盘块,vmstat内磁盘块大小为1024字节,所以这里系统写磁盘速率约为每秒4MB,vmstat中也有CPU的wa统计,可以看到23%的时间用来等待I/O

vmstat还提供自系统启动以来I/O子系统的性能信息

如上图,包括了磁盘数量,分区数量、读/写请求总数,读/写所花费的时间,以及当前正在处理的I/O总数(inprogress IO),等待I/O完成所花费的毫秒数(milli spent IO),这个是整个系统的IO统计信息

说一下合并读和合并写,linux在读写磁盘时,为了提高性能,内核合并对磁盘相邻区域的请求,这样减少了对磁盘IO的操作,从而一定程度上提高linux性能

从上面的信息,我们已经可以定位是写磁盘造成的IO等待,接着我们需要定位是哪块磁盘造成的

通过-d参数可以看到更细化的每块磁盘的IO信息,如上图,可以看到vda的读写请求,特别是写提交比较频繁,接着就可以查看磁盘下单个分区的统计信息

vmstat虽然提供了详细的信息,但是要能很直观的从统计信息中分辨出问题并不是十分友好

iostat

和vmstat相似的,但是专门用来显示磁盘I/O统计信息的工具,就是iostat,iostat和vmstat的块大小不一样,iostat一般为512字节,

iostat的统计结果默认显示的是传输速率

如图,第一条信息是自系统启动以来的统计信息,第二条开始,为每隔1秒的统计数据(由于截图的时候,故障已处理,所以这里其实看起来并没有什么读写),统计数据分别为:

  • tps 每秒传输次数,该项为每秒对设备/分区读写请求的次数
  • Blk_read/s 每秒读取磁盘块的速率
  • Blk_wrtn/s 每秒写入磁盘块的速率
  • Blk_read 在时间间隔内读取块的总数量
  • Blk_wrtn 在时间间隔内写入块的总数量

这部分是指iostat输出的基本信息,如果想看到更详细的信息,需要用-x参数

从iostat中能更直观的看到那个磁盘在进行大量的读写操作,如果用-x参数,能看到更多的统计信息

sar

除了上面的工具,sar也是linux下性能分析常用的工具,sar也比较通用,除了CPU、内存之外,也能查看关于I/O的信息

sar能看到的I/O相关的信息也就是读写速率,而且显示的是设备的主设备号和次设备号,而不是它们的名称

iotop

而其实最简单的方式是使用iotop,它是一个用来监视磁盘I/O使用状况的top类工具,可以直观的检测到哪一个程序使用的磁盘IO信息

上面的工具,我们需要自己去分析,去查找,iotop很直观的,按照I/O统计展示进程,在运维定位IO故障中效率更高,不过,默认系统不自带,需要yum安装

此次I/O升高是由于jbd2引起的,jbd2是一个文件系统的日志功能,为了保证文件系统的完整性,而引入了这么一个日志功能,会将所有的操作写盘记录日志,这也是为什么刚开始分析看到的磁盘写操作频繁。

网上不少文章有关于jbd2引起I/O高的分析,认为比较好的是这篇https://cloud.tencent.com/developer/article/1465600,有兴趣的可以看下,里面有多种解决方案

本文主要想介绍服务器遇到I/O高的情况的一些分析方法和工具,总结分析思路:

  • 查看系统总体I/O性能
  • 查找I/O高的驱动器或磁盘
  • 查找引起I/O高的进程
  • 查看进程对应的I/O操作或系统调用
  • 进行相应的处理或优化
本文参与 腾讯云自媒体同步曝光计划,分享自微信公众号。
原始发表:2020-05-15,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 运维研习社 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
相关产品与服务
物联网
腾讯连连是腾讯云物联网全新商业品牌,它涵盖一站式物联网平台 IoT Explorer,连连官方微信小程序和配套的小程序 SDK、插件和开源 App,并整合腾讯云内优势产品能力,如大数据、音视频、AI等。同时,它打通腾讯系 C 端内容资源,如QQ音乐、微信支付、微保、微众银行、医疗健康等生态应用入口。提供覆盖“云-管-边-端”的物联网基础设施,面向“消费物联”和 “产业物联”两大赛道提供全方位的物联网产品和解决方案,助力企业高效实现数字化转型。
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档