性能分析之Linux系统平均负载案例分析

前言

在上文性能基础之理解Linux系统平均负载和CPU使用率,我们详细介绍了 Linux 系统平均负载的相关概念,本文我们来做几个案例分析,以便于加深理解。

准备工作

测试环境

  • 操作系统:CentOS 7.2 双核
  • 监控工具:iotop、htop、top、uptime、sysstat
  • 压测工具:stress
# 获得物理cpu核心的数量
[zzw@7dgroup2 ~]$ lscpu -p | egrep -v '^#' | wc -l
2
# 获取逻辑cpu数量(包括超线程逻辑cpu数量)
[zzw@7dgroup2 ~]$ lscpu -p | egrep -v '^#' | sort -u -t, -k 2,4 | wc -l
1

工具介绍

  • iotop 是一个用来监视磁盘 I/O 使用状况的 top 类工具
  • htop 是一款运行于 Linux 系统监控与进程管理软件,用于取代 Linux 下传统的 top。与 top 只提供最消耗资源的进程列表不同,htop 提供所有进程的列表,并且使用彩色标识出处理器、swap 和内存状态。
  • stress 是一个 Linux 系统压力测试工具,一个 Posix 系统下生成Cpu/Menory/IO/Disk 负载的工具。
  • sysstat 包含了常用的 Linux 性能工具,用来监控和分析系统命令。

工具安装

# 安装stress
sudo yum install -y epel-release
sudo yum install -y stress

# 安装iotop
sudo yum install -y iotop

# 安装htop
sudo yum install -y htop

# 安装sysstat
sudo yum install -y sysstat

其它工作

我们打开五个终端,登录到同一台 Linux 机器中。

  • 终端一:stress 模拟 Linux 压测场景
  • 终端二:top 监控进程状况
  • 终端三:iotop 监控进程 I/O 使用状况
  • 终端四:htop 监控进程详细状况
  • 终端五:mpstat 监控系统 iowait 详细状况

案例分析

上面所有准备工作都已经完成了,我们首先使用 uptime 命令看下当前 Linux 的平均负载情况

[zzw@7dgroup2 ~]$ uptime
 20:12:34 up 148 days,  3:09,  7 users,  load average: 0.06, 0.10, 0.13

场景一:CPU密集型进程

首先,我们在终端一运行 stress 命令,模拟一个 CPU 使用率 100% 的场景。

# 模拟一个CPU使用率100%的场景。
[zzw@7dgroup2 ~]$ stress --cpu 1 --timeout 600
stress: info: [2395] dispatching hogs: 1 cpu, 0 io, 0 vm, 0 hdd

在终端二查看当前 CPU 使用率及平均负载情况,我们可以看到1分钟的平均负载已经慢慢增加到 1.11,而其中一个CPU1 User使用率已到达 72%。

在终端五我们发现系统的 iowait 几乎为 0。这说明,平均负载的升高正是由于 CPU User使用率升高导致的。这个罪魁祸首正是 PID 为 9717 的 stress 进程。

在终端四上通过 htop 我们也可以很直观了解当前的负载情况,此处我们看到 CPU User使用率颜色是绿色偏高。

场景二:I/O 密集型进程场景

我们继续在终端一运行 stress 命令,模拟 I/O 压力,即不停的执行 sync

# 模拟 I/O 压力,不停的执行 sync
[zzw@7dgroup2 ~]$ stress -i 1 --timeout 600
stress: info: [11041] dispatching hogs: 0 cpu, 1 io, 0 vm, 0 hdd

在终端二查看当前 CPU 使用率及平均负载情况,我们可以看到1分钟的平均负载已经慢慢增加到 1.25,而CPU0 System使用率为 68%

在终端五,我们发现两个CPU 都出现了 iowait。这说明,系统平均负载升高是由于 iowait 升高造成的。

那么到底是哪个进程?在终端三上我们通过 iotop 发现有两个进程在大量执行 IO 写操作,结合 top S列(进程状态代码)使用情况(R和D,即可运行状态和不可中断状态)我们可以发现还是 PID 为 19241 的 stress 进程引起的。

如下图,当我们停止 stress 进程后的状况。

通过终端四的 htop 我们也可以很直观了解当前的负载情况,此处我们看到 CPU 使用率颜色是红色偏高。

场景三:大量进程

当系统中运行的进程数超过 CPU 运行能力时,就会出现等待 CPU 的进程。此处,我们还是使用 stress 模拟 4 个进程。

[zzw@7dgroup2 ~]$ stress -c 4 --timeout 600
stress: info: [13473] dispatching hogs: 4 cpu, 0 io, 0 vm, 0 hdd

由于系统只有 2 个 CPU,明显比 4 个进程要少得多,因此系统 CPU 处于严重过载状态,平均负载高达4.30

进一步查看运行队列的长度(等待运行的进程数),可以看出,stress 进程们在疯狂的争夺 2 个CPU,这就导致出现运行队列过大,这些超出 CPU 计算能力的进程,最终导致系统过载。

以下是使用 vmstat 命令。

在终端四上通过 htop 我们也可以很直观了解当前的负载情况,此处我们看到 CPU User使用率颜色是绿色偏高。

小结

平均负载提供了一个快速查看系统整体性能的手段,反映了系统的整体负载状况。但并不能跟CPU使用率并不一定完全对应。比如:

  • CPU 密集型进程,使用大量 CPU 会导致平均负载升高,这时候两者是一致的。
  • I/O 密集型进程,等待 I/O 也会导致平均负载升高,但 CPU 使用率不一定很高。
  • 大量等待 CPU 的进程调度也会导致平均负载很高,此时的 CPU 使用率也会比较高

另外,htop 根据不同类型的负载加以颜色区别(F2可以自定义)。比如 CPU 密集应用,它的负载颜色是绿色偏高,iowait 的操作,它的颜色是红色偏高。

最后附一张 7DGroup 的经典 linux 性能分析思路图:

简单概况,即操作系统(CPU/IO/Mem/Net)->进程->线程->堆栈->代码,如果 CPU 和 I/O 同时出现高的情况,先看 I/O。

本文分享自微信公众号 - 7DGroup(Zee_7DGroup)

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2019-01-17

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏浩Coding

车辆违章查询和限行提醒程序 -- (4) JavaWeb实现定时任务

今天我们要设置定时任务,用JavaWeb的方式实现。通过网上搜寻资料发现,这个定时任务的实现使用Spring框架比较简单,当然也可以用监听器注入配合Timer的...

10130
来自专栏Fish

破解sublime 3207(2019.6.3更新)

最近这几个月都在忙论文的事,基本上没有写博客,今天终于差不多整完了,开始修电脑。前阵子sublime总是有一些稀奇古怪的问题,所以今天就更新一下,主要是解决注册...

14440
来自专栏浩Coding

设置MySQL数据库不区分大小写

我们大家可能都碰到过这种情况:在Linux下,MySQL的表名区分大小写,而在Windows下是不区分,从Windows下导出的数据脚本中使用的是小写,而Hib...

25610
来自专栏浩Coding

更新/修复Deepin启动(GRUB)

相信很多人和我一样,主要用着Linux,但是玩游戏娱乐啥的或者一些图形化界面软件必须要用到Windows系统,这个时候就不得不装双系统了。

1.6K30
来自专栏浩Coding

Linux命令之screen——终端切换

Screen是一款由GNU计划开发的用于命令行终端切换的自由软件。用户可以通过该软件同时连接多个本地或远程的命令行会话,并在其间自由切换。GNU Screen可...

29320
来自专栏浩Coding

解决Linux桌面卡死问题

当下发行的很多Linux桌面版都非常好用,但是问题随之而来,那就是经常遇到桌面卡死情况,接下来我介绍如何应对Linux桌面卡死情况,以Deepin系统为例。

68420
来自专栏边缘计算

如何在不影响网络的情况下构建边缘计算策略

随着越来越多的科技公司宣称他们提供“边缘智能”的能力,边缘计算吸引了众多公司高管们的关注。哪个公司不想拥有更多的智能? 然而,决定边缘计算策略是否真正有益,意味...

9420
来自专栏JetpropelledSnake

Linux学习笔记之详解linux软连接和硬链接

Linux链接分两种,一种被称为硬链接(Hard Link),另一种被称为符号链接(Symbolic Link)。默认情况下,ln命令产生硬链接。

23450
来自专栏浩Coding

Linux下配置JavaWeb环境

最近需要一个Linux下的JavaWeb环境,所以写下这篇文章,好记性不如烂笔头嘛,O(∩_∩)O哈哈~。本篇教程用的是Centos7系统,需要安装JDK1.8...

21540
来自专栏liu_ll的生信学习笔记

学习小组Day2笔记--liull

今天主要是学习了基本的linux命令,感谢花花很贴心的附上了阿里云的linux教程,之前我是自己捣鼓过,而且还在上面提交过命令,但是我觉得用户体验非常的不好,然...

9330

扫码关注云+社区

领取腾讯云代金券

年度创作总结 领取年终奖励