Linux下监控文件变化并抓取系统运行参数

最近遇到一个需求:

web应用层往中间件发送信息的时候,经常出现莫名奇妙的异常,为了定位该中间件发送客户端的bug,需要抓取异常瞬间的系统运行参数: momery dumptcp dump等.

  1. 当发生异常时已经将发送失败的信息打印到了日志文件中。
  2. 异常不定期的发生。

针对这个问题,手动的跟踪肯定不现实。因此,需要通过脚本监控日志文件的变化,且在变化的瞬间捕获系统运行参数。

系统参数

cat /etc/redhat-release
CentOS Linux release 7.0 (Final)

Linux的文件监控工具 inotify-tools

inotify-tools提供的两个命令行工具:

inotifywait:通过inotify API等待被监控文件上的相应事件并返回监控结果,默认情况下,正常的结果返回至标准输出,诊断类的信息则返回至标准错误输出。它可以在监控到对应监控对象上指定的事件后退出,也可以进行持续性的监控。

inotifywatch:通过inotify API收集被监控文件或目录的相关事件并输出统计信息。

在此次需求中,需要使用inotifywait

inotifywait命令使用简介:

inotifywait尤其适用于在脚本中等待某事件的发生,并可基于特定的事件执行相应操作。如将其用于脚本中监控某指定目录中的文件上的修改、新建、删除、属性信息的改变,而后使用rsync命令将某事件对应的文件同步至其它主机上。其常用选项如下:

-m, --monitor:inotifywait的默认动作是在监控至指定文件的特定事件发生一次后就退出了,而使用此选项则可实现持续性的监控;

-r, --recursive:递归监控指定目录下的所有文件,包括新建的文件或子目录;如果要监控的目录中文件数量巨大,则通常需要修改/proc/sys/fs/inotify/max_users_watchs内核参数,因为其默认值为8192。

-e , --event :指定要监控的特定事件,默认是监控所有的事件;此处包括access, modify, attrib, close_write, close_nowirte, close, open, moved_to, moved_from, move, create, delete, delete_selt等;

--timefmt :当在--format选项中使用%T时,--timefrt选项则可以用来指定自定义的符合strftime规范的时间格式,此时间格式可用的格式符可以通过strftime的手册页获取;--timefrt后常用的参数是'%d/%m/%y %H:%M';

--format :自定义inotifywait的输出格式,如--format '%T %w %f';常用的格式符如下:

%w:显示被监控文件的文件名;

%f:如果发生某事件的对象是目录,则显示被监控目录的名字;默认显示为空串;

%T:使用--timefmt选项中自定义的时间格式;

例如,要监控/tmp/test目录及其内部所有文件上发生的create,delete,modify,close_write事件,则使用如下命令:

inotify -r --timefmt '%d/%m/%y %H:%M' --format '%T %w %f' -e create,delete,modify,close_write /tmp/test

此命令在监控到某文件上第一次事件后就会退出,如果想一直监控,则需要为命令添加-m选项。

更详细的使用介绍: 系统监控工具----Inotify-Tools, 关于原理: 基于inotify机制的实时文件监控

安装

yum --enablerepo=epel -y install inotify-tools

编写shell脚本并运行

1. 编写shell脚本

#!/bin/bash
DIR=$1
echo $1   
tomcatport=$(ps -ef | grep tomcat | grep -v grep | awk '{print $2}' )
echo $tomcatport
echo 'wait'
inotifywait  -e modify $DIR
echo $1
echo 'file change , then tcp dump'
tcpdump -i eth1 -c 1000 > tcpdump.log
echo 'dump end, then memory dump'
jmap -dump:format=b,file=heap.hprof $tomcatport
echo 'all done'
exit
  1. 文件一旦变化,打印memory dumptcp dump
  2. memory dump 需要先获取 tomcatPID

如果需要循环监听文件变化, 可以给inotifywait添加-m参数, 并通过管道添加while循环

#!/bin/bash
 DIR=$1    
 echo $1   
 tomcatport=$(ps -ef | grep tomcat | grep -v grep | awk '{print $2}' )
 echo $tomcatport

echo 'wait'
inotifywait -m -e close_write $DIR --format "%w%f" | while read FILE
do
    tcpdump -i eth1    -c 100 > tcpdump.log
    jmap -dump:format=b,file=heap.hprof $tomcatport
done

保存成shell脚本文件: Monica.sh

2. 上传到服务器

rz -e

将dos命令符修改为unix [可选] 由于lz使用的是windows系统,需要将文件转码

dos2unix Monica.sh

3. 添加可执行权限

chmod +x Monica.sh

4. 运行

sh Monica.sh /data/logs/ocece-message.log &

参考文献

  1. inotify用法简介及以之结合rsync实现主机间的文件实时同步
  2. Inotify: 高效、实时的Linux文件系统事件监控框架

原创声明,本文系作者授权云+社区-专栏发表,未经许可,不得转载。

如有侵权,请联系 yunjia_community@tencent.com 删除。

编辑于

张作峰的专栏

1 篇文章1 人订阅

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏Laoqi's Linux运维专列

Kubernetes 1.8.6 集群部署–集群监控(十)

1583
来自专栏性能与架构

nginx 缓存机制

Nginx缓存的基本思路 利用请求的局部性原理,将请求过的内容在本地建立一个副本,下次访问时不再连接到后端服务器,直接响应本地内容 Nginx服务器启动后,会对...

3856
来自专栏算法channel

Python|Pyinstaller打包Python程序的过程详解

01 Pyinstaller是什么 PyInstaller is a program that freezes (packages) Python progr...

4525
来自专栏marsggbo

Pytorch windows10安装教程

强烈建议安装anaconda之后再来安装这个pytorch,具体怎么安装百度搜索就知道了。 温馨提示,在安装anaconda的时候记得将“添加到环境变量”(安...

23010
来自专栏Samego开发资源

自动化运维之Fabric

1404
来自专栏Python

CentOS下Redis的安装

CentOS下Redis的安装 前言 安装Redis需要知道自己需要哪个版本,有针对性的安装,比如如果需要redis GEO这个地理集合的特性,那么redis...

3507
来自专栏张俊红

为jupyter_notebook增加目录

1404
来自专栏Java爬坑系列

【SpringMVC】使用Myeclipse创建SpringMVC项目【超详细教程】

  之前一直是使用Eclipse创建Web项目,用IDEA和MyEclipse的创建SpringMVC项目的时候时不时会遇到一些问题,这里把这个过程记录一下,希...

20610
来自专栏Django中文社区

注册

用户注册就是创建用户对象,将用户的个人信息保存到数据库里。回顾一下 Django 的 MVT 经典开发流程,对用户注册功能来说,首先创建用户模型(M),这一步我...

3025
来自专栏zaking's

走近webpack(2)--css打包及压缩js

  前面的文章介绍了webpack的devServer以及多入口多出口文件的配置,咱们继续往下学。   在开始学习接下来的知识之前,我们先回顾一下,前文提到了w...

3818

扫码关注云+社区