告警监控系统开发

一、需求分析

需求:

使用shell定制各种个性化告警工具,但需要统一化管理、规范化管理。

思路:

指定一个脚本包,包含主程序、子程序、配置文件、邮件引擎、输出日志等。

主程序:

作为整个脚本的入口,是整个系统的命脉。

配置文件:

是一个控制中心,用它来开关各个子程序,指定各个相关联的日志文件。

子程序:

这个才是真正的监控脚本,用来监控各个指标。

邮件引擎:

是由一个python程序来实现,它可以定义发邮件的服务器、发邮件人以及发件人密码。

输出日志:

整个监控系统要有日志输出。

要求:

我们的机器角色多种多样,但是所有机器上都要部署同样的监控系统,也就说所有机器不管什么角色,整个程序框架都是一致的,不同的地方在于根据不同的角色,定制不同的配置文件。

bin下是主程序; conf下是配置文件; shares下是各个监控脚本; mail下是邮件引擎; log下是日志。

二、主脚本+配置文件

按照之前的约定,把所有的脚本全部放在 /usr/local/sbin 目录下,并创建相应的子目录。

告警系统基于CentOS 7.3 开发

2.1、主脚本

2.1.1 创建相应的目录

[[email protected] sbin]# mkdir mon
[[email protected] sbin]# cd mon
[[email protected] mon]# mkdir mail bin shares conf log
[[email protected] mon]# ls
bin  conf  log  mail  shares

2.1.2 创建主配置脚本

作为一个主脚本,首先我们需要考虑到的是如下几点:

  • 某某项目是否需要监控;
  • 调用多个不同的子脚本;
  • 维护模式下的一键开关;
  • 实用性,通用性和可扩展性;

具体如下看配置文件:

[[email protected] mon]# cd bin/
[[email protected] bin]# vim main.sh

#!/bin/bash

# 是否发送邮件的开关(维护模式下我们需要关闭此功能,监控还是继续,但不发任何邮件。)
export send=1
# 过滤ip地址(一旦报警,需要需要知道是哪台机器的IP,没有服务端,全部都是独立运行的。监控的网卡可以修改,也可更改为hostname)
export addr=`/sbin/ifconfig |grep -A1 "ens33: "|awk '/inet/ {print $2}'`
dir=`pwd`
# 只需要最后一级目录名
last_dir=`echo $dir|awk -F'/' '{print $NF}'`
# 下面的判断目的是,保证执行脚本的时候,我们在bin目录里,不然监控脚本、邮件和日志很有可能找不到(脚本中涉及的目录几乎都是相对路径。)!!
if [ $last_dir == "bin" ] || [ $last_dir == "bin/" ]; then
    conf_file="../conf/mon.conf"
else
    echo "you shoud cd bin dir"
    exit
fi
exec 1>>../log/mon.log 2>>../log/err.log
echo "`date +"%F %T"` load average"
/bin/bash ../shares/load.sh
#先检查配置文件中是否需要监控502
if grep -q 'to_mon_502=1' $conf_file; then
    export log=`grep 'logfile=' $conf_file |awk -F '=' '{print $2}' |sed 's/ //g'`
    /bin/bash ../shares/502.sh
fi

2.2、配置文件

2.2.1 进入指定目录(因为主脚本已经定义了,所以不可以随便改动位置),并添加配置:

[[email protected] mon]# cd conf/

[[email protected] conf]# vim mon.conf


## to config the options if to monitor
## 定义mysql的服务器地址、端口以及user、password(如下的cdb是我目前的数据库,可选择监控与否)
to_mon_cdb=0  ##0 or 1, default 0,0 not monitor, 1 monitor
db_ip=10.20.3.13
db_port=3315
db_user=username
db_pass=passwd
## httpd  如果是1则监控,为0不监控
to_mon_httpd=0
## php 如果是1则监控,为0不监控
to_mon_php_socket=0
## http_code_502  需要定义访问日志的路径(配合如上主脚本,如果to_mon_502=1 就会开启监控报警)
to_mon_502=1
logfile=/data/log/xxx.xxx.com/access.log
## request_count  定义日志路径以及域名(监控请求数,如上说明0 或者1开关与否)
to_mon_request_count=0
req_log=/data/log/www.xxx.com/access.log
domainname=www.xxx.com

注释:为什么我会在此定义log呢?

假如server台数很多,我们必须考虑到脚本的通用型和易修改性。目的就是环境变化,我们只需要调节配置文件即可!!!


三、监控项目

3.1、告警系统 load.sh

3.1.1 跳转指定目录并配置

[[email protected] mon]# cd shares

[[email protected] shares]# vim load.sh

#! /bin/bash

load=`uptime |awk -F 'average:' '{print $2}'|cut -d',' -f1|sed 's/ //g' |cut -d. -f1`
if [ $load -gt 10 ] && [ $send -eq "1" ]
then
    echo "$addr `date +%T` load is $load" >../log/load.tmp
    /bin/bash ../mail/mail.sh test@163.com "$addr\_load:$load" `cat ../log/load.tmp`
fi
echo "`date +%T` load is $load"

3.1.2 脚本分析

load:的值可以先配置到系统去查看是否正确(取得整数)。

告警前提:然后针对负载的值去判断(判断的值,可根据自己真实server的硬件去配置合适的值!!)

发邮件告警:满足负载超过10,且不在维护模式(主配置文件定义的)

执行动作:写入日志,并执行发邮件的脚本(后面会介绍)。

脚本:高于负载就报警;不高于负载就记录到日志。


3.2、告警系统 502.sh

3.2.1 直接在当前目录创建监控脚本:

[[email protected] shares]# pwd
/usr/local/sbin/mon/shares

[[email protected] shares]# vim 502.sh

#! /bin/bash
d=`date -d "-1 min" +%H:%M`
c_502=`grep :$d: $log |grep ' 502 '|wc -l`
if [ $c_502 -gt 10 ] && [ $send == 1 ]; then
    echo "$addr $d 502 count is $c_502">../log/502.tmp
    /bin/bash ../mail/mail.sh $addr\_502 $c_502 ../log/502.tmp
fi
echo "`date +%T` 502 $c_502"

3.2.2 脚本分析

截取一分钟前的日志文件并判断,如果502的次数超过10次,或者不在维护模式(主脚本已经定义)就调用mail发邮件,如果没有,仅仅记录日志。


3.3、告警系统 disk.sh

3.3.1 创建监控脚本(适用于系统语言为英文的,如果不是英文需要在脚本中更改系统语言为 LANG=en ):

[[email protected] shares]# pwd
/usr/local/sbin/mon/shares

[[email protected] shares]# vim disk.sh

#! /bin/bash

rm -f ../log/disk.tmp
## 用空格或者%为分隔符,筛选出来磁盘使用量的百分比。
for r in `df -h |awk -F '[ %]+' '{print $5}'|grep -v Use`
do
    if [ $r -gt 90 ] && [ $send -eq "1" ]
then
    echo "$addr `date +%T` disk useage is $r" >>../log/disk.tmp
    fi
done
if [ -f ../log/disk.tmp ]
then
    df -h >> ../log/disk.tmp
    /bin/bash ../mail/mail.sh $addr\_disk $r ../log/disk.tmp
    echo "`date +%T` disk useage is nook"
else
    echo "`date +%T` disk useage is ok"
fi

3.3.2 脚本解析:

  • 监控所有磁盘分区
  • 查看各个磁盘的已用百分比
  • 设置分区使用量的告警值
  • 写入一个临时文件
  • 再次加一重判断,如果文件存在就开始发邮件报警并写入日志

四、邮件引擎

一旦之前所设定的部分监控脚本超出了设定的值,我们需要进行报警。

路径信息:

[root@zhdy-03 mail]# pwd
/usr/local/sbin/mon/mail

[root@zhdy-03 mail]# ls
mail.py  mail.sh

4.1、告警系统(核心配置) mail.sh(告警收敛)

log=$1          //log作为一个变量,接收来自第一个参数的值
t_s=`date +%s`      //时间戳
t_s2=`date -d "2 hours ago" +%s`    //两个小时前的时间戳
if [ ! -f /tmp/$log ]       //如果日志文件不存在
then
    echo $t_s2 > /tmp/$log      //把两个小时前的时间戳写到日志
    fi
t_s2=`tail -1 /tmp/$log|awk '{print $1}'`     //截取时间戳
echo $t_s>>/tmp/$log        //追加当前时间戳
v=$[$t_s-$t_s2]     //时间戳的时间差(以秒为单位)详情如下1
echo $v
if [ $v -gt 3600 ]  //在此也就是,当过了1小时如果还是没有恢复再次发告警邮件。调用mail.py(如果没有恢复,每1小时发一次)
then
    ./mail.py  $1  $2  $3
    echo "0" > /tmp/$log.txt        //生成一个新的.txt日志。用来记录告警
else
    if [ ! -f /tmp/$log.txt ]       //判断有没有这个日志文件
    then
    echo "0" > /tmp/$log.txt        //计数器
    fi
    nu=`cat /tmp/$log.txt`          //查看计数器
    nu2=$[$nu+1]                    //计数器+1
    echo $nu2>/tmp/$log.txt         //把计数器写入日志文件
    if [ $nu2 -gt 10 ]              
    then
        ./mail.py  $1 "trouble continue 10 min $2" "$3"         //代表着已经持续了10分钟了
        echo "0" > /tmp/$log.txt    //重新开始计数
    fi
fi

4.1.1 脚本详细解析:

  1. 为什么以秒为单位呢?这就涉及到了“告警收敛”,脚本是每隔一分钟执行一次的,如果触发了就搞定,如果短时间搞定或者告警数量很多,告警信息就会影响你解决分析判断问题,如果成千上百台机器,那就是一个很大的问题!!!
  2. 如果脚本开始报警,log 的$1是什么?还记得上篇文章当报警的时候执行mail.sh 紧接着给了个参数,那个参数就是所谓的$1。t_s 时间戳 t_s2 2小时之前的时间戳,定义两小时的原因就是为了执行下面的if语句,条件成立不就实现了咱们的报警条件,开始报警。
  3. 发了邮件后,写一个计数器在log.txt中,else我们现在就不执行了,因为那是小于3600才执行的东西。
  4. 脚本每分钟执行一次,第二次开始,log,t_s,t_s2相对于第一次只是增加了一分钟,判断文件是否存在,因为上一次刚刚执行过,所以一定是存在的,t_s2就只是增加了60s 所以经过提取给v,判断不超过3600,开始执行else的内容,第一次执行的时候已经创建了log.txt 所以是有的且nu为0 nu2为1,nu2不大于10,所以就是再次循环。
  5. 直到执行到最后一步nu2为11了,那也就是10分钟了,如果故障还是存在,运维再次收到一个告警邮件,故障已经持续10分钟了。这样就实现了咱们所说的“告警收敛”
  6. 如果超过10分钟再次发了邮件,然后执行计数器归0,再次开始重新循环计数。
  7. 最后告警解除了,不再调用mail.sh,也就恢复了!也就不在执行mail.sh了。
  8. 假如脚本在执行3分钟的时候,突然故障恢复了,脚本也就不会再次执行,然后计数器保持在2,在计数周期内如果恢复,只有在一个小时以后故障才会消失,大于3600的,如果在一个小时内报警,还是按照之前的计数器继续执行!!

4.2、发邮件脚本 mail.py

#!/usr/bin/env python
#-*- coding: UTF-8 -*-
import os,sys
reload(sys)
sys.setdefaultencoding('utf8')
import getopt
import smtplib
from email.MIMEText import MIMEText
from email.MIMEMultipart import MIMEMultipart
from  subprocess import *
def sendqqmail(username,password,mailfrom,mailto,subject,content):
    gserver = 'smtp.qq.com'
    gport = 25
    try:
        msg = MIMEText(unicode(content).encode('utf-8'))
        msg['from'] = mailfrom
        msg['to'] = mailto
        msg['Reply-To'] = mailfrom
        msg['Subject'] = subject
        smtp = smtplib.SMTP(gserver, gport)
        smtp.set_debuglevel(0)
        smtp.ehlo()
        smtp.login(username,password)
        smtp.sendmail(mailfrom, mailto, msg.as_string())
        smtp.close()
    except Exception,err:
        print "Send mail failed. Error: %s" % err
def main():
    to=sys.argv[1]
    subject=sys.argv[2]
    content=sys.argv[3]
##定义QQ邮箱的账号和密码,你需要修改成你自己的账号和密码(请不要把真实的用户名和密码放到网上公开,否则你会死的很惨)
    sendqqmail('[email protected]','aaaaaaaaaa','[email protected]',to,subject,content)
if __name__ == "__main__":
    main()
    
    
#####脚本使用说明######
#1. 首先定义好脚本中的邮箱账号和密码
#2. 脚本执行命令为:python mail.py 目标邮箱 "邮件主题" "邮件内容"

4.3、运行告警系统

4.3.1 脚本加入crontab 每分钟执行一次

*/1 * * * * cd /usr/local/sbin/mon/bin; bash main.sh

最终执行效果,由于是在测试机上面,没有任何告警,所以执行也没啥意思,如果配置到线上,一定要保持各项的参数配置符合现场的需求或者设置。

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏xiaoheike

Elasticsearch Network Settings

Elasticsearch 缺省情况下是绑定 localhost。对于本地开发服务是足够的(如果你在相同机子上启动多个节点,它还可以形成一个集群),但是你需要配...

18320
来自专栏北京马哥教育

Linux系统命令和使用技巧8则

我们在平时使用 Linux 系统时,无论在终端下还是在图形桌面下,都有一些快捷的命令和操作的技巧,本文就向新手简单介绍常用的几种: 1、处理特殊的文件名 假设L...

42780
来自专栏云计算教程系列

如何在Ubuntu 14.04上安装和配置Naxsi

Naxsi是第三方Nginx模块,提供Web应用程序防火墙功能。它为您的Web服务器带来了额外的安全性,并保护您的服务器免受各种Web攻击,如XSS和SQL的注...

21900
来自专栏小樱的经验随笔

【批处理学习笔记】第一课:什么是批处理

  批处理(Batch),也称为批处理脚本。顾名思义,批处理就是对某对象进行批量的处理。目前比较常见的批处理包含两类:DOS批处理和PS批处理。PS批处...

30350
来自专栏racaljk

静态库(.a)与动态库(.so)的简明介绍

gcc有很多关于静态库,动态库的选项如-l,-L,-fPIC,-shared -Wl,-soname,看着很复杂容易混淆,其实静态库和动态库都是应需而生,只要有...

20950
来自专栏MongoDB中文社区

使用mlaunch和m快速搭建MongoDB测试集群

不知道大家在使用MongoDB的时候有没有遇到突然想要一个集群但是手边又没有的时候?特别是我已经升级到4.0了,突然想要一个3.2的集群怎么办?然后去下载,改配...

12710
来自专栏容器云生态

根据红帽RHEL7官方文档对centos7进行技术剖析(一)

序言:红帽7教学环境介绍 rht-vmctl命令介绍; $ rht-vmctl start desktop     启动desktop虚拟机 $ rht-vmc...

34560
来自专栏梦魇小栈

NPM 学习笔记整理

npm 之于 Node ,就像 pip 之于 Python , gem 之于 Ruby , composer 之于 PHP 。

8200
来自专栏沈唁志

怎么快速集成QQ微博等第三方授权登录功能?

日常项目中经常会用到QQ授权登录或者微信授权登录,方便了用户,否则需要手机验证码等等的操作,授权登录只需要一键操作

12010
来自专栏木头编程 - moTzxx

PHP 开发学习[2] —— wamp memcache 的安装与扩展(Windows 64)

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/u011415782/article/de...

18040

扫码关注云+社区

领取腾讯云代金券