思路:
捕获数据->停止捕获数据->提取数据
备注:一些命令的输出,第一次记录的数据是自重启到当前时间的平均值,所以,如果采用循环的方式不断重复开启命令,获取的数据可能不太准确,所以,这里采用开启命令后,一次性捕获需要的数据。
(一) 捕获数据
用法:sh capture.sh arg1 arg2
参数说明:arg1为采样频率,arg2为采样时长,单位都为秒
例子:2秒采集一次数据,采样时长10秒,共采样5次
sh capture.sh 2 10
capture.sh内容如下:
#!/bin/bash
count=$(($2/$1))
echo $count
rm -f top.txt
rm -f vmstat.txt
rm -f iostat.txt
{ top -bd $1 -n $count >> top.txt; }&
{ vmstat -t -n -S K $1 $count >> vmstat.txt; }&
{ iostat -kx $1 $count >> iostat.txt; }&
wait
exit 0
说明:并发执行采集数据命令
(二)停止捕获数据
用法:sh stop.sh
说明:如果停止压测时还没到命令自动退出时间,可执行该脚本,停止数据捕获
stop.sh脚本内容如下:
#!/bin/bash
killall top
killall vmstat
killall iostat
exit 0
(三)提取数据
用法:sh analyze.sh agr1 arg2 arg3 arg4 arg5
参数说明:agr1,agr2,agr3分别为capture中指定的存储文件,默认分别为top.txt,vmstat.txt,iostat.txt,arg4为网卡接口,arg需要采集的进程(COMMAND)
例子:
sh analyze.sh top.txt vmstat.txt iostat.txt eth1 netns
analyze.sh 内容如下:
#!/bin/bash
# 获取要监控的本地服务器IP地址
IP=`ifconfig $4 | grep "inet addr" | cut -f 2 -d ":" | cut -f 1 -d " "`
echo "IP地址:"$IP
# 获取cpu总核数
cpu_num=`grep -c "model name" /proc/cpuinfo`
echo "cpu总核数:"$cpu_num
printf "\n"
# 1、获取CPU利用率
printf "获取cpu利用率\n"
printf "cpu_user\tcpu_system\tcpu_idle\tcpu_iowait\ttime\n"
record_num=`grep Cpu $1| wc -l`
for((i=1;i<=$record_num;i++))
do
# 获取时间
time=`grep "load average" $1 | sed -n ${i}"p" | awk '{print $3}'`
#echo "当前时间"$time
# 获取用户空间占用CPU百分比
cpu_user=`grep Cpu $1 | awk '{print $2}' |sed -n ${i}"p"| cut -f 1 -d "%"`
#echo "用户空间占用CPU百分比:"$cpu_user
# 获取内核空间占用CPU百分比
cpu_system=`grep Cpu $1 | awk '{print $3}' |sed -n ${i}"p" | cut -f 1 -d "%"`
#echo "内核空间占用CPU百分比:"$cpu_system
# 获取空闲CPU百分比
cpu_idle=`grep Cpu $1 | awk '{print $5}' |sed -n ${i}"p" | cut -f 1 -d "%"`
#echo "空闲CPU百分比:"$cpu_idle
# 获取等待输入输出占CPU百分比
cpu_iowait=`grep Cpu $1 | awk '{print $3}' |sed -n ${i}"p" | cut -f 1 -d "%"`
#echo "等待输入输出占CPU百分比:"$cpu_iowait
#echo $cpu_user " "$cpu_system " " $cpu_idle " " $cpu_iowait
printf "%.1f\t\t%.1f\t\t%.1f\t\t%.1f\t\t%s\n" $cpu_user $cpu_system $cpu_idle $cpu_iowait $time
done
printf "\n"
#2、获取CPU上下文切换和中断次数
printf "获取cpu中断和上下文切换次数\n"
printf "cpu_interrupt\tcpu_context_switch\ttime\n"
record_num=`cat $2 | wc -l`
for((i=3;i<=$record_num;i++))
do
# 获取时间
time=`sed -n ${i}"p" $2 | awk '{print $19}'`
#echo "当前时间"$time
# 获取CPU中断次数
cpu_interrupt=`sed -n ${i}"p" $2 | awk '{print $11}'`
#echo "CPU中断次数:"$cpu_interrupt
# 获取CPU上下文切换次数
cpu_context_switch=`sed -n ${i}"p" $2 | awk '{print $12}'`
#echo "CPU上下文切换次数:"$cpu_context_switch
printf "%d\t\t%d\t\t\t%s\n" $cpu_interrupt $cpu_context_switch $time
done
printf "\n"
#3、获取CPU负载信息
printf "\n获取CPU负载信息-15,5,1分钟前到现在的负载均值\n"
printf "cpu_load_15min\tcpu_load_5min\tcpu_load_1min\ttime\n"
record_num=`grep "load average" $1 | wc -l`
for((i=1;i<=$record_num;i++))
do
# 获取时间
time=`grep "load average" $1 | sed -n ${i}"p" | awk '{print $3}'`
#echo "当前时间"$time
# 获取CPU15分钟前到现在的负载平均值
cpu_load_15min=`grep "load average" $1 | sed -n ${i}"p" | awk '{print $12}' | cut -f 1 -d ','`
#echo "CPU 15分钟前到现在的负载平均值:"$cpu_load_15min
# 获取CPU5分钟前到现在的负载平均值
cpu_load_5min=`grep "load average" $1 | sed -n ${i}"p" | awk '{print $11}' | cut -f 1 -d ','`
#echo "CPU 5分钟前到现在的负载平均值:"$cpu_load_5min
# 获取CPU1分钟前到现在的负载平均值
cpu_load_1min=`grep "load average" $1 | sed -n ${i}"p" | awk '{print $10}' | cut -f 1 -d ','`
#echo "CPU 1分钟前到现在的负载平均值:"$cpu_load_1min
printf "%.2f\t\t%.2f\t\t%.2f\t\t%s\n" $cpu_load_15min $cpu_load_5min $cpu_load_1min $time
done
printf "获取CPU负载信息-cpu队列长度\n"
printf "cpu_task_length\ttime\n"
record_num=`cat $2 | wc -l`
for((i=3;i<=$record_num;i++))
do
# 获取时间
time=`sed -n ${i}"p" $2 | awk '{print $19}'`
#echo "当前时间"$time
# 获取任务队列(就绪状态等待的进程数)
cpu_task_length=`sed -n ${i}"p" $2 | awk '{print $1}'`
#echo "CPU任务队列长度:"$cpu_task_length
printf "%d\t\t%s\n" $cpu_task_length $time
done
printf "\n"
#4、获取内存信息
printf "获取内存信息\n"
printf "mem_total\tmem_sys_used\tmem_sys_free\tmem_user_used\tmem_user_free\tmem_buffers\tmem_swap_total\tmem_swap_used\tmem_swap_free\tmem_swap_cached\ttime\n"
record_num=`grep Mem $1 | wc -l`
for((i=1;i<=$record_num;i++))
do
# 获取时间
time=`grep "load average" $1 | sed -n ${i}"p" | awk '{print $3}'`
#echo "当前时间"$time
# 获取物理内存总量
mem_total=`grep Mem $1 | sed -n ${i}"p" | awk '{print $2}' | cut -f 1 -d 'k'`
#echo "物理内存总量:"$mem_total
# 获取操作系统已使用内存总量
mem_sys_used=`grep Mem $1 | sed -n ${i}"p" | awk '{print $4}' | cut -f 1 -d 'k'`
#echo "已使用内存总量(操作系统):"$mem_sys_used
# 获取操作系统未使用内存总量
mem_sys_free=`grep Mem $1 | sed -n ${i}"p" | awk '{print $6}' | cut -f 1 -d 'k'`
#echo "剩余内存总量(操作系统):"$mem_sys_free
# 获取应用程序已使用的内存总量
mem_buffers=`grep Mem $1 | sed -n ${i}"p" | awk '{print $8}' | cut -f 1 -d 'k'`
mem_swap_cached=`grep Swap $1 | sed -n ${i}"p" | awk '{print $8}' | cut -f 1 -d 'k'`
mem_user_used=$(($mem_sys_used-$mem_buffers-$mem_swap_cached))
#echo "已使用内存总量(应用程序):"$mem_user_used
# 获取应用程序未使用内存总量
mem_user_free=$(($mem_sys_free+$mem_buffers+$mem_swap_cached))
#echo "剩余内存总量(应用程序):"$mem_user_free
# 获取交换分区总大小
mem_swap_total=`grep Swap $1 | sed -n ${i}"p" | awk '{print $2}' | cut -f 1 -d 'k'`
#echo "交换分区总大小:"$mem_swap_total
# 获取已使用交换分区大小
mem_swap_used=`grep Swap $1 | sed -n ${i}"p" | awk '{print $4}' | cut -f 1 -d 'k'`
#echo "已使用交换分区大小:"$mem_swap_used
# 获取剩余交换分区大小
mem_swap_free=`grep Swap $1 | sed -n ${i}"p" | awk '{print $6}' | cut -f 1 -d 'k'`
#echo "剩余交换分区大小:"$mem_swap_free
printf "%d\t\t%d\t\t%d\t\t%d\t\t%d\t\t%d\t\t%d\t\t%d\t\t%d\t\t%d\t\t%s\n" $mem_total $mem_sys_used $mem_sys_free $mem_user_used $mem_user_free $mem_buffers $mem_swap_total $mem_swap_used $mem_swap_free $mem_swap_cached $time
done
printf "\n"
#5、获取磁盘I/O统计信息
echo "指定设备(/dev/sda1)的统计信息"
printf "disk_sda_rs\tdisk_sda_ws\tdisk_sda_avgqu_sz\tdisk_sda_await\tdisk_sda_svctn\tdisk_sda_util\ttime\n"
record_num=`grep sda $3 | wc -l`
for((i=1;i<=$record_num;i++))
do
# 获取时间
time=`grep "load average" $1 | sed -n ${i}"p" | awk '{print $3}'`
#echo "当前时间"$time
# 每秒向设备发起的读请求次数
disk_sda_rs=`grep sda $3 | sed -n ${i}"p" | awk '{print $4}'`
#echo "每秒向设备发起的读请求次数:"$disk_sda_rs
# 每秒向设备发起的写请求次数
disk_sda_ws=`grep sda $3 | sed -n ${i}"p" | awk '{print $5}'`
#echo "每秒向设备发起的写请求次数:"$disk_sda_ws
# 向设备发起的I/O请求队列长度平均值
disk_sda_avgqu_sz=`grep sda $3 | sed -n ${i}"p" | awk '{print $9}'`
#echo "向设备发起的I/O请求队列长度平均值"$disk_sda_avgqu_sz
# 每次向设备发起的I/O请求平均时间
disk_sda_await=`grep sda $3 | sed -n ${i}"p" | awk '{print $10}'`
#echo "每次向设备发起的I/O请求平均时间:"$disk_sda_await
# 向设备发起的服务时间均值
disk_sda_svctm=`grep sda $3 | sed -n ${i}"p" | awk '{print $11}'`
#echo "向设备发起的服务时间均值:"$disk_sda_svctm
# 向设备发起I/O请求的CPU时间百分占比
disk_sda_util=`grep sda $3 | sed -n ${i}"p"| awk '{print $12}'`
#echo "向设备发起I/O请求的CPU时间百分占比:"$disk_sda_util
printf "%.2f\t\t%.2f\t\t%.2f\t\t\t%.2f\t\t%.2f\t\t%.2f\t\t%s\n" $disk_sda_rs $disk_sda_ws $disk_sda_avgqu_sz $disk_sda_await $disk_sda_svctm $disk_sda_util $time
done
printf "\n"
#6、获取某个进程的CPU、内存使用信息
printf "获取某个进程的CPU、内存使用信息\n"
printf "proc_id\tproc_cpu\tproc_mem\tproc_vsz\ttime\n"
record_num=`grep $5 $1 | wc -l`
for((i=1;i<=$record_num;i++))
do
# 获取时间
time=`grep "load average" $1 | sed -n ${i}"p" | awk '{print $3}'`
#echo "当前时间:"$time
# 获取进程ID
proc_id=`grep $5 $1 | sed -n ${i}"p" | awk '{print $1}'`
#echo "进程ID:"$proc_id
# 获取进程CPU使用率
proc_cpu=`grep $5 $1 | sed -n ${i}"p" | awk '{print $3}'`
#echo "进程CPU使用率:"$proc_cpu
# 获取进程内存使用率
proc_mem=`grep $5 $1 | sed -n ${i}"p" | awk '{print $4}'`
#echo "进程内存使用率:"$proc_mem
# 获取进程虚拟内存总量
proc_vsz=`grep $5 $1 | sed -n ${i}"p" | awk '{print $5}'`
#echo "进程使用的虚拟内存总量:"$proc_vsz
printf "%d\t\t%.1f\t\t%.1f\t\t%d\t\t%s\n" $proc_id $proc_cpu $proc_mem $proc_vsz $time
done
注:获取磁盘I/O统计信息,这里收集的时间数据是大致时间-top取样时的时间,非精确时间,有可能存在较大误差
效果如下:
注:针对不同类型、版本的操作系统,以上脚本可能需要做适当修改才可适用