CPU load 高占用率低问题的排查

# 1. 引言 突然观察到服务器 load 过高，可是 CPU 占用率很低。 这也算是一个常见问题了。 那么，如何排查和解决这个问题呢？

2. top 查看 cpu wait

通过 top 命令，可以看到 CPU 的 wait 很高，可以参考： top 命令详解

2.1. 诊断

• 若 wait 值过高，则说明磁盘 IO 存在瓶颈
• 若 idle 值高，但 load 仍很高则说明内存容量不足
• 若 idle 值持续低于 1，则系统的 CPU 处理能力存在瓶颈

3. iostat 分析 IO 性能

我们通过 iostat 可以分析 IO 性能。 通常通过 -x 参数显示详细信息。 下面是一个示例，执行：

iostat -x -k 3 2

3.1. 参数说明

• -x — 显示详细信息
• -k — 以 KB 为单位
• -m — 以 MB 为单位
• 3 — 每 3 秒执行一次
• 2 — 总共执行 2 次
• 需要注意的是，第1次采样信息与单独执行iostat的效果一样，为从系统开机到当前执行时刻的统计信息，第2次及此后才是当前的实时数据

3.2. 返回信息

返回信息总共包含三部分：

iostat 命令返回信息

3.3. 返回信息 — avg-cpu

avg-cpu中各列参数含义如下：

iostat 返回的 avg-cpu 信息

3.4. 返回信息 — Device

Device 中各列参数含义如下：

iostat 返回的 Device 信息

3.5. 诊断

通过具体的 Device 中的 %util 可以看出具体是那块磁盘负载过大。

4. 通过iotop查找高I/O对应的进程

执行 iotop 命令可以看到每个进程占用的 io 比例：

我们可以找到占用 IO 最大的 TID 即进程 ID。

5. 通过 lsof -p pid 具体文件

SIZE 一列即读写大小，通过其增长我们就可以锁定究竟是哪个文件造成了 IO 过高。 从而可以分析具体的代码来解决这个问题。

6. 参考资料

https://support.zabbix.com/browse/ZBXNEXT-1914。 https://www.jianshu.com/p/cb64232df70c。 https://blog.csdn.net/xusensen/article/details/73080887。