专栏首页授客的专栏性能测试 操作系统性能分析思路总结

性能测试 操作系统性能分析思路总结

CPU

1、 整体负载

先查看系统整体负载(可通过w,uptime,top等命令查看),可以查看15分钟前,5分钟前,1分钟前到现在负载均值。

通常我们先看15分钟的负载均值,如果负载均值很高,再看5分钟和1分钟的负载,查看是否有下降趋势。如果负载均值等于逻辑CPU数(假设每个CPU的核数一样,逻辑CPU数 = 物理CPU数 X 单个CPU的核数),则表示CPU利用率为100%,小于CPU核数,则表示CPU利用率小于100%,大于CPU核数,则要用“就绪状态进程数”来衡量。

2、 就绪状态进程数

当负载均值大于逻辑CPU数时,查看处于就绪等待状态的进程数。可通过vmstat命令(r列)查看:如果r的值长期大于系统中的逻辑CPU个数,则表示系统现在运行较慢,有多个进程等待CPU处理。

3、 局部占用

系统负载较高的情况下,可进一步查看哪部分占用CPU资源较多(%us, %sy,%ni, %id, %wa, %hi(硬中断), %si(软中断),in (中断),cs(上下文切换)),可通过top,vmstat,iostat命令、nmon工具查看。

top命令:可查看 %us, %sy,%ni, %id, %wa, %hi, %si

vmstat命令:可查看 %us(参考值:不低于60%), %sy(参考值:不高于15%), %id(参考值:小于u,大于20%), %wa(参考值:不高于30%),in ,cs

如果%us的值比较高,说明用户进程消耗的cpu时间较多,如果长期超过50%的使用,那应该考虑优化程序了

如果%sy的值过高,说明系统内核消耗的cpu时间较多,是不良表现,要检查原因

%id时间(包括I/O等待时间),参考值:小于u,大于20%

如果%wa过高,说明I/O等待比较严重,可能是由于磁盘大量随机访问造成,也可能是磁盘的带宽出现瓶颈

%cs,每秒上下文的切换次数,在指定时间内,这个值要越小越好,值越大,表明cpu大部分时间浪费在上下文切换,内核消耗的cpu时间过多,导致cpu干“正经事”的时间少了,cpu没有充分利用,要考虑减少线程、线程的数目。举例来说,我们调用系统函数时,代码会进入内核空间,导致上下文切换,线程的切换也是如此;

%hi 服务于中断的CPU百分比

%si 服务于软中断的CPU百分比

in 每秒中断次数

iostat命令:

# iostat -c

avg-cpu: %user %nice %system %iowait %steal %idle

avg_cpu 多处理器中,avg_cpu统计的是多个处理器的平均值

nmon工具:

SYS_SUMM 表:

说明:

CPU% :CPU总体占用情况, User%+Sys%。

CUP_ALL表: 可查看%User, %Sys, %Wait

4、 单进程

进一步分析,可以查看是哪个进程占用CPU资源较多。可通过top、ps、pidstat命令

ps命令:

ps -aux --sort -pcpu

pid命令:

# pidstat -u

可查看%usr %system %guest %CPU CPU

5、 单线程

确定占用CPU资源较多的进程后,如果想进一步查看是该进程下哪些线程占用CPU资源较多,进一步分析造成CPU性能瓶颈的代码层问题

操作方法如下:

# top -Hp 13118 #查看PID为13118的进程,其所有线程的使用情况

top - 17:32:15 up 5 days, 7:58, 4 users, load average: 0.00, 0.01, 0.05

Threads: 56 total, 0 running, 56 sleeping, 0 stopped, 0 zombie

%Cpu(s): 0.2 us, 0.1 sy, 0.0 ni, 99.7 id, 0.1 wa, 0.0 hi, 0.0 si, 0.0 st

KiB Mem : 497864 total, 38376 free, 370444 used, 89044 buff/cache

KiB Swap: 2096124 total, 1912088 free, 184036 used. 34656 avail Mem

PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND

13118 root 20 0 2731268 312056 5036 S 0.0 62.7 0:00.01 java

13119 root 20 0 2731268 312056 5036 S 0.0 62.7 0:01.04 java

13120 root 20 0 2731268 312056 5036 S 0.0 62.7 0:22.17 java

13121 root 20 0 2731268 312056 5036 S 0.0 62.7 0:00.08 java

# printf "%x" 13119 #16进制方式展示线程PID13119

333f

# jstack 13118 | grep 333f #查看PID为13119的线程堆栈信息,对应的代码段

"main" #1 prio=5 os_prio=0 tid=0x00007f1ecc009000 nid=0x333f runnable [0x00007f1ed5b23000]

6、 单个CPU

必要时,进一步分析每个逻辑CPU的资源占用情况,以便分析是否存在因代码数据结构、算法等不合理导致逻辑CPU使用不均的情况,比如在负载较高的情况下,依旧仅使用某个逻辑cpu。

可使用top、mpstat命令、nmon工具

top命令:开启top命令后,按1

mpstat命令: mpstat p -All

nmon工具:CPU_SUM表可查看%User, %Sys, %Wait

内存

1、 整体趋势

先查看内存使用整体走势,大致判断内存使用情况。图波动大且呈上升趋势,有可能是内存泄漏。可通过nmon工具查看(MEM表:可查看memfree,memtotal

2、 内存分布

根据“内存分布”进一步分析内存使用情况,获取更准确的信息。可通过top、free、vmstat命令或nmon工具查看。

top命令:可以查看

Mem : total, free, used, buff/cache, avail Mem

Swap: total, free, used

free命令:可以查看

Mem:total,used,free,shared,buff/cache available

Swap:total, used,free

对于旧版内核来说,Mem: free+buff+cache,可作为应用程序可用内存的大致估算值,Mem: used-buff-cache,可视为应用程序已用内存的大致估算值。

对于新版内核来说,available字段展示了可用剩余物理内存。

vmstat命令: 可以查看

si:每秒从交换分区写入到内存(swap in)的大小,单位kb/s

so:每秒从内存写入到交换分区(swap out)的大小

如果si,so的值大于0,代表使用了交换空间,至于是否内存不够,需要结合内核参数vm.swappiness和vm.min_free_kbytes limit的参数值来看待

swpd:正在使用的交换内存(虚拟内存)大小,单位kb

如果该值大于0,代表使用了交换空间,至于是否内存不够,需要结合内核参数vm.swappiness和vm.min_free_kbytes limit的参数值来看待

nmon工具:

VM表:pswpin pswpout ,如果这两列的值大于0,代表使用了交换空间,至于是否内存不够,需要结合内核参数vm.swappiness和vm.min_free_kbytes limit的参数值来看待

3、 单进程

进一步分析,查看哪个进程占用内存资源较多,可以通过top、ps、pidstat命令查看

top命令

%MEM 进程使用的物理内存百分比

VIRT 进程使用的虚拟内存(Virtual Image)总量,单位kb

RES 进程使用的,未被换出的物理内存大小,单位kb

ps命令

# ps -aux --sort -pmem

%MEM 进程使用的物理内存百分比

VSZ 进程占用的虚拟内存大小 单位:KB(killobytes)

RSS 进程占用物理内存大小 单位:KB(killobytes)

pidstat命令

# pidstat -r

# pidstat -r -p 1739 2 5

3、 更细粒度

例如利用jmap命令查看进程堆栈信息

磁盘

1、 整体使用率

查看磁盘(分区)使用率,以确定磁盘繁忙状态。可通过nmon工具查看。

DISKBUSY:

可查看Disk %Busy 的Avg, Wavg, Max值

说明:

WAvg比Avg更贴近资源消耗的均值

Disk %Busy:磁盘繁忙的百分比,即磁盘能满足的最大IOPS(每秒IO操作数)和当前IO数量的比率。

。一般主要看磁盘的Busy%,当磁盘的Busy%持续大于85%时,即认为磁盘相当繁忙了

2、 I/O等待

查看磁盘IO等待情况。可通过iostat命令查看

%util: 向设备发起I/O请求的CPU时间百分比,即一秒钟有百分之多少的时间用于I/O请求,参考值:大于95%则表示I/O繁忙

avgqu-sz: 向设备发起的I/O请求队列的平均队列长度,如果avgqu-sz比较大,也表示有一定量的I/O在等待。

await: 每次向设备发起的I/O请求平均时间(单位:毫秒),包括请求在请求队列中消耗的时间和服务设备的时间

svctm: 向设备发起的I/O操作服务时间均值(单位:毫秒),该字段在未来的版本中会被移除

1、针对单个机械硬盘,如果%util接近100%,说明产生的I/O请求太多,I/O系统满负荷,该磁盘可能存在瓶颈。而针对SSD或RAIDs则并非如此,需要参考avgqu-sz

2、如果svctm比较接近await,说明I/O几乎没有时间等待,如果await远大于svctm,说明I/O队列太长,I/O响应太慢,需要进行优化。

3、 磁盘IO读写

查看磁盘读写状况,分析磁盘是读占用,还是写占用,I/O,可通过pidstat、iostat命令、nmon工具查看

pidstat命令

# pidstat -d

可查看进程级的 kB_rd/s, kB_wr/s, kB_ccwr/s

iostat命令

# iostat

可查看 kB_read/s kB_wrtn/s

# iostat -kx

可查看 r/s w/s rkB/s wkB/s 等

nmon工具

SYS_SUMM 表:

Avg tps during an interval:显示采集间隔内磁盘平均I/O次数,该值等于DISK_SUMM表中IO/sec列的平均值。

Max tps during an interval:显示采集间隔内磁盘最大I/O次数,该值等于DISK_SUMM表中IO/sec列的最大值。

Max tps interval time:显示磁盘最大I/O所在时间点。

Total number of Mbytes read:显示采集间隔内磁盘读的总兆字节数,可能是nmon的bug,该值并不准确,并且使用LVM划分的虚拟磁盘可能会存在重复统计。

Total number of Mbytes written:显示采集间隔内磁盘写的总兆字节数,该值并不准确,理由同上。

Read/Write Ratio:显示Total number of Mbytes read/ Total number of Mbytes written的值, 实时比例。

网络

1、 数据收发

检查网卡数据接收和发送情况(是否报错,丢弃等),对网络状况进行基础分析。

可以通过ifconfig命令查看,其输出:

RX 表示接收

TX:表示发送

2、 整体I/O分析

查看网卡整体I/O以分析是否在“带宽”范围之内

3、 网络读写I/O分析

进一步分析是读I/O还是写I/O占用了过多资源

备注

如果是性能调优,一些看似无啥规律的数据,比如每秒I/O数,也可通过对比的方式来分析,或者通过绘制的曲线走势来分析(弄清楚曲线变化的原因),可能得到意想不到的结果。

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 性能测试 Apache参数配置与性能调优

    1、选择合适的MPM(Multi -Processing Modules, 多处理模块)

    授客
  • Vue 在父(子)组件引用其子(父)组件方法和属性

    <button @click="callChildMethod()">父组件调用子组件方法</button>

    授客
  • JavaScript 监听组合按键

    当按下的组合键包含Shift键、或者按键之前开启大写时,shiftkey键会显示为true;

    授客
  • Linux系统查看CPU、机器型号、内存等信息

    系统维护时随时可能有需要查看 CPU 使用率,并根据相应信息分析系统状况的需要。在 linux 中,可以通过 top 命令来查看 CPU 使用状况。关于 top...

    砸漏
  • 2018-04-16 Linux查看磁盘空间(df, du)

    以下命令可以查看磁盘各分区大小、已用空间等信息: df -h 以下命令可以查看foo目录的大小: du -sh foo 有时候,硬盘比较满了,我们想找一...

    Albert陈凯
  • 2019年如何成为现代化的后端开发者

    当我们谈到语言时,你会有无数种选择。为了方便你做决定,我把它们分成几类。对于刚开始进入后端开发的初学者,我建议你随便选一门脚本语言去学,它们都有大量的需求,也能...

    貟王軍
  • 美食也能搞创作?让这些奇妙的可视化作品带你大开眼界

    在朋友圈怎么 Po 美食照显得更有逼格?使用大光圈展现出食物的纹理和热气腾腾,还是用九宫格砸出饕餮气势?

    DT数据侠
  • Ubuntu下查看电脑相关信息

    程序手艺人
  • 从w命令开始,系统状态命令哪个最强大?哪个你最熟悉?

    最快的时间内,通过不同命令对Linux系统状态的把控,也是运维的基本功。今天一起来汇总一下,看看都有哪些。 1 使用w查看系统负载 相信所有的linux管理员最...

    企鹅号小编
  • 起薪12500的Python,为什么有些人自学几天就放弃了?

    其实你们现在学习编程,包括Python在内的大部分语言,从互联网都能找到大量的资料,也许有人会说:“资料太多,不知道如何系统地学习”;那给你们讲讲我们当时是怎么...

    一墨编程学习

扫码关注云+社区

领取腾讯云代金券