nginx日志分析

在nginx.conf中定义的日志格式如下:

    http {
        ...
    
        log_format  main  '$remote_addr - $remote_user [$time_local] "$request" '
                          '$status [$request_body] $body_bytes_sent "$http_referer" '
                          '"$http_user_agent" "$http_x_forwarded_for"';
        ...
    }

日志文件如下:

116.2.52.247 - - [26/Oct/2017:15:04:00 +0000] "POST /api/v1/f1_static/ HTTP/1.1" 200 [{\x22user_id\x22:\x229b999d46dd6149f49\x22}] 323 "http://www.abc.com/ProductPerspective/detail/" "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/61.0.3163.100 Safari/537.36" "-"116.2.52.247 - - [26/Oct/2017:15:04:00 +0000] "OPTIONS /api/v1/fund_info/ HTTP/1.1" 200 [-] 31 "http://www.abc.com/ProductPerspective/detail/" "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/61.0.3163.100 Safari/537.36" "-"

nginx没有命令直接将日志按天分割,我们写了一个shell脚本,每日0点定时执行。

 #!/bin/bashlogs_path="/mydata/nginx/logs/"
 mv ${logs_path}access-web.log ${logs_path}access-web-$(date -d "yesterday" +"%Y%m%d").logmv ${logs_path}access-api.log ${logs_path}access-api-$(date -d "yesterday" +"%Y%m%d").log

cron:

0 0 * * * /mydata/nginx/nginx.log.sh

从nginx服务器将日志数据传输到日志服务器

[root@VM_231_116_centos ~]
root@10.105.83.34's password:
access-power-20170929.log 100%  126KB 125.8KB/s  00:00
access-web-20171016.log   100% 2616KB  2.6MB/s  00:00
access-power-20170907.log  100% 1687KB  1.7MB/s  00:00
access-api-20170911.log    100% 1209KB  1.2MB/s  00:00
access-power-20170930.log   100% 1354KB  1.3MB/s  00:00
access.log   100%  45MB  45.2MB/s  00:00
access-api-20170907.log  100% 2960KB  2.9MB/s  00:00
access-power-20170906.log  100%  669KB 669.1KB/s  00:01
access-api-20170904.log   100% 9186KB  9.0MB/s  00:00
  • 服务器之间文件(夹)复制
scp local_file remote_username@remote_ip:remote_folder  或者  
scp local_file remote_username@remote_ip:remote_file  
 scp -r local_folder remote_username@remote_ip:remote_folder

主要有几点:

  1. 逐行解析
  2. 正则匹配
  3. 日期的处理
  4. 批量写入数据库
import reimport timeimport osimport arrowimport pandas as pdimport jsonimport io_tosqlimport shutil 
from sqlalchemy import create_engine
engine_user_info = create_engine(    "mysql+pymysql://{}:{}@{}:{}/{}".format('usr', 'pwd', 'host','port', 'db'),
    connect_args={"charset": "utf8"}) 

def parse(filename):
 
    month_abr = {"Jan":"01", "Feb":"02", "Mar":"03", "Apr":"04", "May":"05", "Jun":"06",                 "Jul":"07", "Aug":"08", "Sep":"09", "Oct":"10", "Nov":"11", "Dec":"12"}
 
    dfs = [] 
    try:
 
        i = 0
        file = open(filename)        for line in file:
            pattern = "(\d+\.\d+\.\d+\.\d+).*?\[(.*?)\].*?(\w+) (/.*?) .*?\" (\d+) \[(.*?)\] (\d+) \"(.*?)\" \"(.*?)\" \"(.*?)\""
            s = re.search(pattern, line)            if s:
                remote_addr = s.group(1)
                local_time = s.group(2)
                request_method = s.group(3)
                request_url = s.group(4)
                status = s.group(5)
                request_body = s.group(6)
                body_bytes_sent = s.group(7)
                http_referer = s.group(8)
                http_user_agent = s.group(9)
                http_x_forwarded_for = s.group(10) 
                
                for mon in month_abr.keys():                    if mon in local_time:
                        local_time = local_time.replace(mon, month_abr[mon])                        break
 
                lt = arrow.get(local_time, "DD/MM/YYYY:HH:mm:ss")
                lt = lt.shift(hours=8)
                local_time = str(lt.datetime)
                i = i+1
                
 
                if request_body != '-':                    try:
                        request_body = request_body.replace(r'\x22', '"').replace("null", '""')
                        request_body_dict = json.loads(request_body)
                        fund_id = request_body_dict.get('fund_id', None)
                        user_id = request_body_dict.get('user_id', None)                        if user_id is None:
                            user_id = request_body_dict.get('userId', None)                    except Exception as e:
                        print("request_body:{}".format(request_body))
                        print(e)
                        fund_id = None
                        user_id = None
                else:
                    fund_id = None
                    user_id = None
 
                if request_method not in ("GET", "POST"):                    
                    continue
  
                df = pd.DataFrame({"remote_addr": [remote_addr], "request_method": [request_method], "local_time": [local_time],                                                "request_url": [request_url], "status": [status], "request_body": [request_body],                                                "body_bytes_sent": [body_bytes_sent], "http_referer": [http_referer],                                                "http_user_agent": [http_user_agent], "http_x_forwarded_for": [http_x_forwarded_for],                                                "fund_id": [fund_id], "user_id": [user_id]
                                                })
                df['create_at'] = time.strftime("%Y-%m-%d %H:%M:%S", time.localtime(time.time()))
                
                dfs.append(df) 
                
                if len(dfs) >= 100:
                    df_all = pd.concat(dfs)
                    df_all = df_all.drop_duplicates(subset=['remote_addr', 'request_url','local_time'])                    
                    df_all.to_sql("log_table", engine, if_exists="append", index=False)
                    print("写入长度为:" + str(len(df_all)))
                    dfs = []
  
        df_all = pd.concat(dfs)
        df_all = df_all.drop_duplicates(subset=['remote_addr', 'request_url','local_time'])
        df_all.to_sql("log_table", engine, if_exists="append", index=False) 
    except Exception as e:
        print(e)

日志结构化写入数据库后,到前端页面可以多维度展示

原文发布于微信公众号 - 大数据架构师专家(xinsz08)

原文发表时间:2018-07-25

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏猿天地

spring data mongodb 代码连接数据库方式

平时我们用spring data mongodb都是采用xml配置的方式来链接数据库 但是往往有的时候需要用代码的方式来实现。 比如说我们有可能要同时操作多个d...

36814
来自专栏SeanCheney的专栏

Python模拟登陆 —— 征服验证码 1 豆瓣

captcha是Completely Automated Public Turing Test to Tell Computers and Humans Apa...

2825
来自专栏JackeyGao的博客

Django小技巧20: 使用多个settings模块

通常来说, 为了保持项目的配置简单,我们会避免使用多个配置文件。但理想很丰满, 现实是随着项目越来越大, settings.py可能也会变得相当复杂. 在那种情...

3131
来自专栏Kubernetes

深度剖析Kubernetes动态准入控制之Initializers

Author: xidianwangtao@gmail.com Admission Controll的最佳配置 配置过kube-apiserver的同学一...

45311
来自专栏惨绿少年

OpenStack云计算之路-Mitaka 版本

1.1 云计算简介 云计算(英语:cloud computing ),是一种基于互联网的计算方式,通过这种方式,共享的软硬件资源和信息可以按需求提供给计算机各种...

5818
来自专栏数据库新发现

Oracle诊断案例-SGA与Swap之二

案例描述: 这是一个大型生产系统 问题出现时系统累计大量用户进程 用户请求得不到及时响应,新的进程不断尝试建立连接 连接数很快被用完 数据库版本:9.2.0...

882
来自专栏Python

浏览器User-Agent大全

HttpHeader之User-Agent UserAgent中文名为用户代理,是Http协议中的一部分,属于头域的组成部分,UserAgent也简称UA。它是...

3942
来自专栏Kubernetes

原 荐 Kubernetes Resourc

更多关于kubernetes的深入文章,请看我csdn或者oschina的博客主页。 ResoureQuota介绍 关于ResoureQuota和Resourc...

5069
来自专栏Java帮帮-微信公众号-技术文章全总结

SpringBoot使用pageHelper分页插件【面试+工作】

可能有些不太详细,具体可以参考插件作者的文档哦。 https://github.com/pagehelper/Mybatis-PageHelper/blob/...

2142
来自专栏everhad

笔记:Zygote和SystemServer进程启动过程

简述 Android设备启动过程中,先是Linux内核加载完,接着Android中的第一个进程init启动,它会启动一些需要开机启动的进程。 Zygote就是...

2638

扫码关注云+社区