专栏首页python3python 正则分析nginx日志

python 正则分析nginx日志

  有个需求要分析nginx日志,也懒得去研究logstach之类的开源工具,干脆直接写一个脚本,自己根据需求来实现:

先看日志格式:我们跟别人的不太一样,所以没办法了:

12.195.166.35 [10/May/2015:14:38:09 +0800] "list.xxxx.com" "GET /new/10:00/9.html?cat=0,0&sort=price_asc HTTP/1.0" 200 42164 "http://list.zhonghuasuan.com/new/10:00/8.html?cat=0,0&sort=price_asc" "Mozilla/5.0 (Linux; U; Android 4.4.2; zh-CN; H60-L02 Build/HDH60-L02) AppleWebKit/534.30 (KHTML, like Gecko) Version/4.0 UCBrowser/10.4.0.558 U3/0.8.0 Mobile Safari/534.30"

上面是我的日志格式:

脚本如下:

#!/usr/bin/env python
#-*- coding:utf-8 –*-
#Author:xiaoluo
#QQ:942729042
#date:2015:05:12
import re
import sys
log = sys.argv[1]
ip = r"?P<ip>[\d.]*"
date = r"?P<date>\d+"
month = r"?P<month>\w+"
year = r"?P<year>\d+"
log_time = r"?P<time>\S+"
timezone = r"""?P<timezone>
                 [^\"]*
         """
name = r"""?P<name>\"
            [^\"]*\"     
        """
method = r"?P<method>\S+"
request = r"?P<request>\S+"
protocol = r"?P<protocol>\S+"
status = r"?P<status>\d+"
bodyBytesSent = r"?P<bodyBytesSent>\d+"
refer = r"""?P<refer>\"
             [^\"]*\"
             """
userAgent=r"""?P<userAgent>
                .*
               """
#f = open('access1.log','r')
#for logline in f.readlines():
p = re.compile(r"(%s)\ \[(%s)/(%s)/(%s)\:(%s)\ (%s)\ (%s)\ (%s)\ (%s)\ (%s)\ (%s)\ (%s)\ (%s)\ (%s)" %(ip, date, month, year, log_time,timezone,name,method,request,protocol,status,bodyBytesSent,refer,userAgent), re.VERBOSE)
def getcode():
    codedic={}
    f = open(log,'r')
    for logline in f.readlines():
         matchs = p.match(logline)
         if matchs !=None:
             allGroups =matchs.groups()
             status= allGroups[10]
             codedic[status]=codedic.get(status,0) +1
    return codedic
    f.close()
def getIP():
    f = open(log,'r') 
    IPdic={}
    for logline in f.readlines():
        matchs = p.match(logline)
        if matchs !=None:
            allGroups =matchs.groups()
            IP=allGroups[0] 
            IPdic[IP] = IPdic.get(IP,0) +1
    IPdic=sorted(IPdic.iteritems(),key=lambda c:c[1],reverse=True)
    IPdic=IPdic[0:21:1]
    return IPdic
    f.close()
def getURL():
    f = open(log,'r')
    URLdic={}
    for logline in f.readlines():
        matchs = p.match(logline)
        if matchs !=None:
            allGroups =matchs.groups()
            urlname = allGroups[6] 
            URLdic[urlname] = URLdic.get(urlname,0) +1
    URLdic=sorted(URLdic.iteritems(),key=lambda c:c[1],reverse=True)
    URLdic=URLdic[0:21:1]           
    return URLdic
def getpv():
    f = open(log,'r')
    pvdic={}
    for logline in f.readlines():
        matchs = p.match(logline)
        if matchs !=None:
           allGroups =matchs.groups()
           timezone=allGroups[4]
           time = timezone.split(':')
           minute = time[0]+":"+time[1]
           pvdic[minute]=pvdic.get(minute,0) +1
    pvdic=sorted(pvdic.iteritems(),key=lambda c:c[1],reverse=True)
    pvdic=pvdic[0:21:1]
    return pvdic
if __name__=='__main__':
    print "网站监控状况检查状态码"
    print getcode() 
    print "网站访问量最高的20个IP地址"
    print getIP()
    print "网站访问最多的20个站点名"
    print getURL()
    print getpv()

这里要指出的是。我当初是给正则匹配的时候单独封装一个函数的,这样就省去了下面每个函数要打开之前都要单独打开一遍文件,但是我return的时候只能用列表的形式返回,结果列表太大把我的内存耗光了,我的是32G的内存,15G的日志。

效果:

最后一个函数是统计每分钟,访问的数量

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • H3C Qos概述

        QoS( Quality of Service,服务质量)用于评估服务方满足客户服务需求的能力。在 Internet 中,QoS 所评估的就是网络转发分...

    用户2398817
  • python3打包脚本

    python3版本默认没有安装pip。 复制get-pip.py的内容:https://bootstrap.pypa.io/get-pip.py 在python...

    用户2398817
  • Python 正则表达式:split

    本文以 提取URL的地址与参数 为例,介绍re模块的split的用法: 返回值 -> 列表

    用户2398817
  • 【正则表达式学习笔记之一】简单认识正则表达式

    一、引言   正则表达式是什么东东?   在编写处理字符串的程序或网页时,经常会有查找符合某些复杂规则的字符串的需要。正则表达式就是用于描述这些规则的工具。换句...

    Angel_Kitty
  • 正则&highlight高亮实现(干货)

    写完正则表达式以后在浏览器上检测实在是不方便,于是就写了一个JS正则小工具,大大地提高了学习效率。学习之余用正则实现了一个highlight高亮demo,欢迎交...

    牧云云
  • Python爬虫之正则表达式入门正则表达式语法正则表达式实例ReMatch对象贪婪匹配和最小匹配

    Re库是Python的标准库,主要用于字符串匹配 调用方式: import re

    desperate633
  • 上帝视角——给世界一个特写~

    最近在研究使用R包制作动画图表,也就是类似GIF动图,感觉很有趣,也是动态图表呈现的一个非常独特的领域,刚刚研究出了些成果,今天这篇分享使用GIF动画+球型投影...

    数据小磨坊
  • 面对面:人工智能如何更快诊断出罕见的遗传疾病

    从在社群媒体上标注某人,到在入境处辨识旅客身分,已用许多场合里采用脸孔辨识技术。现在有一家新创公司打算运用这项技术来挽救生命。 超过三千万名美国人(其中八成是儿...

    GPUS Lady
  • 业界 | 旷视科技成立学术委员会,姚期智担任首席顾问

    机器之心
  • 正则表达式「^」符号的正确理解方式

    「^」这个符号在正则表达式的中的应用相信是所有程序员都掌握的, 因为它是正则表达式中最基础最常用的知识点。 它在正则表达式中表示两种不同的意义 01 表示匹配一...

    用户1608022

扫码关注云+社区

领取腾讯云代金券