0654-6.2.0-如何通过CM API获取集群事件并入库到MySQL

#!/bin/bash
#由于CM API 的日期是UTC时间，故将日期转化需要将时间转化位UTC时间
nowTime=`date +"%Y-%m-%dT%H:%M:%S.000Z" -d "8 hours ago"`
tenMinAgo=`date +"%Y-%m-%dT%H:%M:%S.000Z" -d "8 hours ago 10 minute ago"`
echo $nowTime $tenMinAgo
#通过curl 的方式将获取的事件导出到指的的文件中,区间为10分钟
# -o 指定输出文件
# -u 指定用户密码
# CDH6.2 中API 版本为V32，CDH5.16.1 中为V19，这里在同一个脚本中获取两个集群的信息，需确保执行的节点访问两个CM节点没有限制，alert==true表示为页面红色告警信息
curl -o /root/eventScript/event1.txt -u readonly:readonly "http://192.168.0.234:7180/api/v32/events?query=alert==true;timeReceived=ge=$tenMinAgo;timeReceived=lt=$nowTime"
curl -o /root/eventScript/event2.txt -u readonly:readonly "http://192.168.0.197:7180/api/v19/events?query=alert==true;timeReceived=ge=$tenMinAgo;timeReceived=lt=$nowTime"

#执行python 脚本解析数据拼接SQL，由于没有安装python MySQLdb 模块，在python中不做入库处理
python /root/eventScript/event.py > /root/eventScript/eventScript.log

#使用shell 命令进行入库操作
if [ ! -f "/root/eventScript/all_event.sql" ]; then
    echo "sql file is not exits!"
else
    mysql -utest -ptest -h 192.168.0.234 test < /root/eventScript/all_event.sql
    sleep 3s
    rm -rf /root/eventScript/all_event.sql
fi

create table eventtable (
     eventTime varchar(50),--事件时间
     eventService varchar(50),--事件服务
     eventCluster varchar(50),--事件集群
     eventName text,--事件名称
     eventContent text,--事件内容
     eventHost varchar(50),--事件主机
     eventLink varchar(100)--事件链接
 ) DEFAULT CHARSET=utf8;

#!/usr/bin/python3
# -*- coding: utf-8 -*-
import json
import datetime
#--- python2.7 中全局字符编码设置-----
#import sys
#reload(sys)
#sys.setdefaultencoding('utf-8')
#--------------------------------

def getEvent(fileName):
    eventTime=""
    eventService=""
    eventCluster=""
    eventName=""
    eventContent=""
    eventHost=""
    eventLink=""
sqlContent=""
# python2 中没有encoding='UTF-8'，可以使用上面注释的写法，下面的写入同理
    with open(fileName,'r',encoding='UTF-8') as load_f:
        load_dict = json.load(load_f)
        #print(load_dict['items'])
        items = load_dict['items']
        eventCount = load_dict['totalResults']
        # 获取的事件总条数大于0执行
        if eventCount > 0:
            for b in range(len(items)):
                 # 时间格式转化
                 eventTime=items[b]['timeReceived']
                 # print(eventTime)
                 UTC_FORMAT = "%Y-%m-%dT%H:%M:%S.%fZ"
                 utcTime = datetime.datetime.strptime(eventTime, UTC_FORMAT)
                 eventTime = utcTime + datetime.timedelta(hours=8)
                 eventTime =str(eventTime).split(".")[0]
                 # print("事件"+str(b)+"发生时间:"+eventTime)
                 # content 中可能出现单引号的情况会导致SQL不正常，替换掉
                 eventContent =items[b]['content'].replace("'"," ")
                 # print("事件内容为：" + eventContent)
                 attr=items[b]['attributes']
                 for a in range(len(attr)):
                    if attr[a]['name'] == "CLUSTER_DISPLAY_NAME" :
                        eventCluster=attr[a]['values'][0]
                        # print("集群名称为："+eventCluster)
                    if attr[a]['name'] == "SERVICE" :
                        eventService=attr[a]['values'][0]
                        #print("事件服务为：" + eventService)
                    if attr[a]['name'] == "HEALTH_TEST_NAME" :
                        eventName=attr[a]['values'][0]
                        #print("事件名称为：" + eventName)
                    if attr[a]['name'] == "HOSTS" :
                        eventHost = attr[a]['values'][0]
                        #print("事件主机为：" + eventHost)
                    if attr[a]['name'] == "URL" :
                        eventLink = attr[a]['values'][0]
                        #print("事件链接为：" + eventLink)
                 sqlContent ="insert into eventtable (eventTime,eventService,eventCluster,eventName,eventContent,eventHost,eventLink) " \
                        "values ('"+eventTime+"','"+eventService+"','"+eventCluster+"','"+eventName+"','"+eventContent+"','"+eventHost+"','"+eventLink+"')"+";\n"
                 # print(sqlContent)
                 #以追加的方式写入
                 with open('/root/eventScript/all_event.sql', 'a',encoding='UTF-8') as f:
                    f.write(sqlContent)
                    f.close
for i in range(1,3):
    getEvent("/root/eventScript/event"+str(i)+".txt")

crontab -e

*/10 * * * * /bin/bash /root/eventScript/event.sh >> /root/eventScript/eventExcute.log