三分钟使用 Python 处理 Nginx 日志

临书

发布于 2018-03-07 10:37:12

1.3K0

发布于 2018-03-07 10:37:12

文章被收录于专栏：随心DevOps随心DevOps

有什么

有 14 台机器（意味着我们有14份日志）
一台可以连到这 14 太机器的机器（有 Python 2.6）

要做什么

获取 14 台机器上某时间段内的包含某特征的日志，再取出其中的特定内容

怎么做

1.使用 pssh 工具在 14 台机器执行 grep 命令获取包含某特征的日志 2.将 14 份日志作为标准输入传给 Python 脚本 3.Python 解析 stdin（标准输入）将日期转化为 Python 中的日期格式，判断之后将符合条件的特定内容取出并输出到 stdout (标准输出)

开始

一. 使用 pssh 工具在 14 台机器执行 grep 命令获取包含某特征的日志

# 安装 pssh 工具
pip install pssh

# 使用 pssh 工具
pssh -l root -h RS_bj_14.txt -o \
result "grep some_tag /data/logs/api.log"

-l 的意思是使用哪个用户执行
-h 是指定主机列表文件(换行隔开)
-o 是指定执行结果保存的文件夹
最后是需要执行的命令

结果：

红色执行失败的的那两台机器未包含符合我们筛选条件的日志

二. 将14份日志作为标准输入传给 Python 脚本

14份日志作为标准输入传给 Python 脚本：

cat result/* | ./ab-result-format.py 15 15 00 10 > result_we_want.log

Python 脚本

#!/usr/bin/python
import sys
import time
format = '%Y-%m-%dT%H:%M:%S+08:00'

h_start = int(sys.argv[1])
h_end = int(sys.argv[2])
m_start = int(sys.argv[3])
m_end = int(sys.argv[4])

stdin = sys.stdin.read().strip()
line_list = stdin.split('\n')

for item in line_list:
    infos = item.split()
    time_object = time.strptime(infos[0], format)   
    if h_start <= time_object.tm_hour <= h_end and m_start <= time_object.tm_min <= m_end:       
    print infos[8], infos[3], infos[4]

先交代一下我们分析的日志格式：

Nginx 日志格式（log_format）

为了方便查看，日志格式和日志中的空格都用换行代替

$time_iso8601
$remote_addr
$host
$request_time
$upstream_response_time
$request
$status
$upstream_addr
$session_id;

↓↓↓（实际的一条日志）

2017-12-19T00:03:57+08:00  
2003:da8:2004:1000:***:ffd2:f0:9b1c  
[2003:da8:2004:1000:****:ffaa:00f0:9b1c]  
0.454  
0.448  
POST  
/?Action=SubmitSyncTaskWithData 
HTTP/1.1  
200  
[2003:da8:2004:1000:****:dd8b:00b7:38ae]:8080 
f228d3941798f0d92c877a92a265f679

Python 脚本做了这么几件事：

接受 4 个参数，分别是起始的小时和分钟，备用
读取标准输入sys.stdin.read()，去掉头尾无用的字符strip()，循环处理每行日志
拆分每行日志split()
将时间字符串转为时间对象，根据 4 个参数判断小时和分钟（这里处理的比较粗糙，跨小时就没办法处理了，有兴趣的读者可以做的更精细一点）
时间条件符合，打出需要的部分（这里我需要的是session_id， request_time，upstream_response_time所以我们print infos[8], infos[3], infos[4]注：Python 的 print 其实就是标准输出

最后我们使用>将 Python 脚本的标准输出重定向到result_we_want.log文件

彩蛋，结果有了，发给领导？ ?