Linux下监控文件变化并抓取系统运行参数

最近遇到一个需求:

web应用层往中间件发送信息的时候，经常出现莫名奇妙的异常，为了定位该中间件发送客户端的bug，需要抓取异常瞬间的系统运行参数: momery dump和tcp dump等.

1. 当发生异常时已经将发送失败的信息打印到了日志文件中。
2. 异常不定期的发生。

针对这个问题，手动的跟踪肯定不现实。因此，需要通过脚本监控日志文件的变化，且在变化的瞬间捕获系统运行参数。

系统参数

cat /etc/redhat-release
CentOS Linux release 7.0 (Final)

Linux的文件监控工具 inotify-tools

inotify-tools提供的两个命令行工具：

inotifywait：通过inotify API等待被监控文件上的相应事件并返回监控结果，默认情况下，正常的结果返回至标准输出，诊断类的信息则返回至标准错误输出。它可以在监控到对应监控对象上指定的事件后退出，也可以进行持续性的监控。

inotifywatch：通过inotify API收集被监控文件或目录的相关事件并输出统计信息。

在此次需求中，需要使用inotifywait

inotifywait命令使用简介：

inotifywait尤其适用于在脚本中等待某事件的发生，并可基于特定的事件执行相应操作。如将其用于脚本中监控某指定目录中的文件上的修改、新建、删除、属性信息的改变，而后使用rsync命令将某事件对应的文件同步至其它主机上。其常用选项如下：

-m, --monitor：inotifywait的默认动作是在监控至指定文件的特定事件发生一次后就退出了，而使用此选项则可实现持续性的监控；

-r, --recursive：递归监控指定目录下的所有文件，包括新建的文件或子目录；如果要监控的目录中文件数量巨大，则通常需要修改/proc/sys/fs/inotify/max_users_watchs内核参数，因为其默认值为8192。

-e , --event ：指定要监控的特定事件，默认是监控所有的事件；此处包括access, modify, attrib, close_write, close_nowirte, close, open, moved_to, moved_from, move, create, delete, delete_selt等；

--timefmt ：当在--format选项中使用%T时，--timefrt选项则可以用来指定自定义的符合strftime规范的时间格式，此时间格式可用的格式符可以通过strftime的手册页获取；--timefrt后常用的参数是'%d/%m/%y %H:%M'；

--format ：自定义inotifywait的输出格式，如--format '%T %w %f'；常用的格式符如下：

%w：显示被监控文件的文件名；

%f：如果发生某事件的对象是目录，则显示被监控目录的名字；默认显示为空串；

%T：使用--timefmt选项中自定义的时间格式；

例如，要监控/tmp/test目录及其内部所有文件上发生的create,delete,modify,close_write事件，则使用如下命令：

inotify -r --timefmt '%d/%m/%y %H:%M' --format '%T %w %f' -e create,delete,modify,close_write /tmp/test

此命令在监控到某文件上第一次事件后就会退出，如果想一直监控，则需要为命令添加-m选项。

更详细的使用介绍: 系统监控工具----Inotify-Tools, 关于原理: 基于inotify机制的实时文件监控

安装

yum --enablerepo=epel -y install inotify-tools

编写shell脚本并运行

1. 编写shell脚本

#!/bin/bash
DIR=$1
echo $1   
tomcatport=$(ps -ef | grep tomcat | grep -v grep | awk '{print $2}' )
echo $tomcatport
echo 'wait'
inotifywait  -e modify $DIR
echo $1
echo 'file change , then tcp dump'
tcpdump -i eth1 -c 1000 > tcpdump.log
echo 'dump end, then memory dump'
jmap -dump:format=b,file=heap.hprof $tomcatport
echo 'all done'
exit

1. 文件一旦变化，打印memory dump和tcp dump
2. memory dump 需要先获取 tomcat 的 PID

如果需要循环监听文件变化, 可以给inotifywait添加-m参数, 并通过管道添加while循环

#!/bin/bash
 DIR=$1    
 echo $1   
 tomcatport=$(ps -ef | grep tomcat | grep -v grep | awk '{print $2}' )
 echo $tomcatport

echo 'wait'
inotifywait -m -e close_write $DIR --format "%w%f" | while read FILE
do
    tcpdump -i eth1    -c 100 > tcpdump.log
    jmap -dump:format=b,file=heap.hprof $tomcatport
done

保存成shell脚本文件: Monica.sh

2. 上传到服务器

rz -e

将dos命令符修改为unix [可选] 由于lz使用的是windows系统，需要将文件转码

dos2unix Monica.sh

3. 添加可执行权限

chmod +x Monica.sh

4. 运行

sh Monica.sh /data/logs/ocece-message.log &

参考文献

1. inotify用法简介及以之结合rsync实现主机间的文件实时同步
2. Inotify: 高效、实时的Linux文件系统事件监控框架