软件性能测试（连载8）

10）上下文切换

CPU依次处理上述任务的调度方法是切换。切换分为“进程切换”“线程切换”和“中断切换”。中断切换即在本节“软中断与硬中断”中提及的，当系统中有非常重要的请求来临，CPU停止手头工作，触发硬中断。“进程切换”和“线程切换”，在切换前都要调取上次保存的信息，在切换后都要保存当前的信息。“进程切换”和“线程切换”合在一起叫做上下文切换（context switches）。图3-21为当前仅有2个任务等待CPU处理下的进程下文切换。

图3-21 进程上下文切换

由此可见上下文切换的优点在于，每个进（线）程具有同等的CPU处理权利，缺点是进（线）程的保存和载入消耗资源。由于线程信息比进程信息要少，所以线程上下文切换优于进程上下文切换。等待的进（线）程，位于CPU的最外层Ring3，而当前正在处理的进（线）程位于CPU内核，即Ring0，如图3-22所示。

图3-22 等待CPU处理的进程和正在CPU处理的进程所处CPU位置

可以通过命令vmstat interval count来查看CPU的中断数和进线程上下文切换数。在这里interval为多长描述输出一次，count为总共输出的次数。比如：“vmstat5 3”表示每5s输出一次，总共输出3次。

#vmstat 1 1

procs -----------memory---------- ---swap-- -----io-----system-- ------cpu-----

r b swpd free buff cache si so bi bo in cs us sy id wa st

0 0 0 7005360 91564 818900 0 0 0 0 25 33 0 0 1000 0

这里的输出含义见表3-6所示。

表3-6 vmstat命令输出详解

在System中cs就表述在某一段时间间隔内每秒上下文切换的个数。上下文切换又分为自愿上下文切换（voluntary context switches）和非自愿上下文切换（non voluntary context switches）两种。自愿上下文切换是指到了切换时间点，进（线）程由于所需的资源不足，比如没有获得进（线）程处理所需的数据而资源CPU让出去，去处理其他进（线）程；而非自愿上下文切换是指指到了切换时间点，没有数据资源不足的情形发生，此进（线）程不得不把CPU资源让出来去处理其他正在等待的进（线）程。所以当自愿上下文切换比较多，说明I/O或者内存存在瓶颈；而非自愿上下文切换比较多，说明目前有很多进（线）程需要CPU处理。可以通过命令pidstat（需要安装sysstat插件）查看自愿上下文切换和非自愿上下文切换。

#每隔 5 秒输出 1 组数据

#pidstat -w 5

Linux 4.15.0 (ubuntu) 09/23/18 _x86_64_ (2 CPU)

08:18:26 UID PID cswch/snvcswch/s Command

08:18:31 0 1 0.20 0.00 systemd

08:18:31 0 8 5.40 0.00 rcu_sched

...

这里的cswch/s和nvcswch/s就表示每秒自愿上下文切换和非自愿上下文切换个数。

11）perf top和perf record命令

perf top命令可以显示占用 CPU 时钟最多的函数或者指令，因此可以用来查找热点函数。如图3-23所示。

图3-23 perf top

perf top 虽然实时展示了系统的性能信息，但它的缺点是并不保存数据，也就无法用于离线或者后续进行分析。

perf record 则提供了保存数据的功能，保存后的数据，需要用 perf report 解析展示。

注意：并不是所有的函数或指令都可以用perf top或perf record获得的。

12）短时进程

对于一些仅存在几毫秒的进程，当数量很大的时候也会给CPU带来很大的负载，而这些进程基本上用top或ps命令很难被获取到，这个时候就需要使用execsnoop命令了。这个命令工具可以通过https://github.com/brendangregg/perf-tools/blob/master/execsnoo获得。

13）显示10个消耗CPU最多的进程

可以通过ps aux|sort -rnk +3|head -10查看10个消耗CPU最多的进程。

#ps aux|sort -rnk +3|head -10

USER PID %CPU %MEM VSZ RSS TTY STAT START TIME COMMAND

root 99 0.0 0.0 0 0? S 08:18 0:00 [scsi_eh_20]

root 98 0.0 0.0 0 0? S 08:18 0:00 [scsi_eh_19]

root 97 0.0 0.0 0 0? S 08:18 0:00 [scsi_eh_18]

root 96 0.0 0.0 0 0? S 08:18 0:00 [scsi_eh_17]

root 95 0.0 0.0 0 0? S 08:18 0:00 [scsi_eh_16]

root 94 0.0 0.0 0 0? S 08:18 0:00 [scsi_eh_15]

root 93 0.0 0.0 0 0? S 08:18 0:00 [scsi_eh_14]

root 92 0.0 0.0 0 0? S 08:18 0:00 [scsi_eh_13]

root 91 0.0 0.0 0 0? S 08:18 0:00 [scsi_eh_12]

14）在多CPU的系统里，查看所有CPU的信息

可以使用mpstat查看多CPU的系统里中的信息。

#mpstat

Linux 4.15.0-46-generic(ubuntu) 10/30/2019 _x86_64_(4 CPU)

02:59:04 AM CPU %usr %nice %sys %iowait %irq %soft %steal %guest %gnice %idle

02:59:04 AM all 15.29 4.91 17.24 2.76 0.00 1.08 0.00 0.00 0.00 58.71

15）小结

本节所涉及的概念有CPU负载、CPU使用率、不可中断的睡眠态进程、僵尸进程、CPU状态转换、软中断与硬中断、CPU节拍率和上下文切换。涉及到的命令有uptime、/proc/cpuinfo、top、dstat、pstree、/proc/softirqs、ps aux | grep softirq、watch、sar -n DEV 1、grep 'CONFIG_HZ=' /boot/config-$(uname -r)、vmstat、pidstat、perf top、perf record、execsnoop、ps aux|sort -rnk +3|head -10 和 mpstat。