python3 log文件处理获取某天需要的数据

问题描述:需要读取log文件,并获取出两天的日志做对比,查询增加或者减少量,规则化输出 完成心得:python的字典,很好用,读写时间快,用法自由

#!/usr/bin/env python
# -*- coding: utf-8 -*-
# @Time    : 17/8/18 下午5:08
# @Author  : lee
# @File    : read.py
# @Software: PyCharm
# 说明: code后有'#'的时测试时加的或者需要修改的code
# 用法 传入两个值 day1是前一天的日期 day2是后一天的内容
import sys
def log_data(address, day1, day2):
    try:
        # 打开文件
        log = open("%s" % address)

        # 定义:
        dict_yesterday = {}  # 昨天的数据
        dict_the_day_before_yesterday = {}  # 前天的数据
        dict_yesterday_difference = {}  # 记录昨天中有的数据,前天没有
        dict_the_day_before_yesterday_difference = {}  # 和上一条相反
        dict_identical = {}  # 记录两天内相同的数据
        dict_result = {}  # 记录结果,输出时读取
        ii = jj = z = x = 0
        #遍历 将两个日期的日志筛选出并装入对应的字典

        for line in log:
            log_data = ','.join(filter(lambda x: x,line.split(' ')))
            date = (log_data.split(',')[0])[-10:].replace('.','-')
            if date == day2:
                dict_yesterday[ii] = log_data
                dict_yesterday_difference[ii] = log_data
                ii += 1
            elif date == day1:
                dict_the_day_before_yesterday[jj] = log_data
                dict_the_day_before_yesterday_difference[jj] = log_data
                jj += 1



        if len(dict_yesterday) >= len(dict_the_day_before_yesterday):
            for i in dict_yesterday:
                object_list1 = (dict_yesterday[i]).split(',')
                entry_name_yesterday = ((object_list1[0]).split(',')[0])[:-10]+object_list1[1]+'-'+object_list1[2]
                for j in dict_the_day_before_yesterday:
                    object_list2 = (dict_the_day_before_yesterday[j]).split(',')
                    entry_name_tdat = ((object_list2[0]).split(',')[0])[:-10]+object_list2[1]+'-'+object_list2[2]
                    if entry_name_yesterday == entry_name_tdat:
                        dict_identical[x] = entry_name_yesterday
                        docs_result = int(((dict_yesterday[i]).split(','))[4]) - int(((dict_the_day_before_yesterday[j]).split(','))[4])
                        capacity1 = (dict_yesterday[i].split(',')[5])[-2:]
                        capacity2 = (dict_the_day_before_yesterday[j].split(',')[5])[-2:]
                        if capacity1 == capacity2:
                            store_result = str(round(float((dict_yesterday[i].split(',')[5])[:-2]) - float((dict_the_day_before_yesterday[j].split(',')[5])[:-2]),2)) +(dict_yesterday[i].split(',')[5])[-2:]
                        # 1gb = 1024mb = 1024kb
                        elif capacity1 != capacity2:
                            n_y = round(float((dict_yesterday[i].split(',')[5])[:-2]), 2)
                            n_t = float((dict_the_day_before_yesterday[j].split(',')[5])[:-2])

                            if capacity1 == 'gb'and capacity2 == 'mb':
                                if n_y * 1024  > n_t:
                                    store_result  = str(abs(round(n_y * 1024 - n_t), 2)) +(dict_the_day_before_yesterday[j].split(',')[5])[-2:]
                                else:
                                    store_result  = str(round(n_y * 1024 - n_t),) +(dict_the_day_before_yesterday[j].split(',')[5])[-2:]
                            elif capacity1 == 'gb'and capacity2 == 'kb':
                                if n_y * 1024 * 1024 > n_t:
                                    # round(,2)
                                    store_result = str(abs(round(n_y * 1024 * 1024 - n_t,2))) +(dict_the_day_before_yesterday[j].split(',')[5])[-2:]
                                else:
                                    store_result = str(round(n_y * 1024 * 1024 - n_t,2)) +(dict_the_day_before_yesterday[j].split(',')[5])[-2:]
                            elif capacity1 == 'mb'and capacity2 == 'gb':
                                if n_y / 1024  > n_t:
                                    store_result = str(abs(round(n_y / 1024 - n_t,2))) +(dict_the_day_before_yesterday[j].split(',')[5])[-2:]
                                else:
                                    store_result = str(round(n_y / 1024 - n_t,2)) +(dict_the_day_before_yesterday[j].split(',')[5])[-2:]
                            elif capacity1 == 'mb'and capacity2 == 'kb':
                                if n_y * 1024 > n_t:
                                    store_result = str(abs(round(n_y * 1024 - n_t,2))) +(dict_the_day_before_yesterday[j].split(',')[5])[-2:]
                                else:
                                    store_result = str(round(n_y * 1024 - n_t,2)) +(dict_the_day_before_yesterday[j].split(',')[5])[-2:]
                            elif capacity1 == 'kb'and capacity2 == 'gb':
                                store_result = str(round(n_t - n_t * 1024 * 1024,2)) +(dict_yesterday[i].split(',')[5])[-2:]
                            elif capacity1 == 'kb'and capacity2 == 'mb':
                                if n_y / 1024  > n_t:
                                    store_result = str(abs(round(n_t - n_t * 1024,2))) +(dict_yesterday[i].split(',')[5])[-2:]
                                else:
                                    store_result = str(round(n_t - n_t * 1024,2)) +(dict_yesterday[i].split(',')[5])[-2:]

                        dict_result[z] = entry_name_tdat + ' docs: ' + str(docs_result) + ' store: ' +store_result
                        z += 1
                        x += 1

       # else:
          #  print("当前日期下没有相关日志")


        # 筛选出昨天出现 前天没有的数据
        if len(dict_yesterday) >= len(dict_identical):
            for i in dict_yesterday:
                object_list_1 = (dict_yesterday[i]).split(',')
                entry_name_yesterday_1 = ((object_list_1[0]).split(',')[0])[:-10]+object_list_1[1]+'-'+object_list_1[2]
                for j in dict_identical:
                    entry_name_identical = dict_identical[j]
                    if entry_name_yesterday_1 == entry_name_identical:
                        dict_yesterday_difference.pop(i)

        # 筛选出前天出现 昨天没有的数据
        if len(dict_the_day_before_yesterday) >= len(dict_identical):
            for i in dict_the_day_before_yesterday:
                object_list_1 = (dict_the_day_before_yesterday[i]).split(',')
                entry_name_yesterday_1 = ((object_list_1[0]).split(',')[0])[:-10]+object_list_1[1]+'-'+object_list_1[2]
                for j in dict_identical:
                    entry_name_identical = dict_identical[j]
                    if entry_name_yesterday_1 == entry_name_identical:
                        dict_the_day_before_yesterday_difference.pop(i)

        # 输出两天都有的数据
        print("下面是 %s 和 %s 内%s中 docs、store差值"%(day1,day2,address))
        print('')
        print("++++++++++++++++两天都有的数据++++++++++++++++")
        for i in dict_result:
            print(dict_result[i])

        # 输出两天中前者中有的数据而在后者没有出现,取正值(+)区别
        print('')
        if len(dict_yesterday) != 0 :
            print("++++++++++++++++只有%s有的数据取正值(+)予以区别++++++++++++++++"%day2)
            for i in dict_yesterday_difference:
                object = (dict_yesterday_difference[i]).split(',')
                name =  ((object[0]).split(',')[0])[:-10]+object[1]+'-'+object[2]
                docs = object[4]
                store = object[5]
                print(name + ' docs: +' + str(docs) + ' store: ' + store)
        else:
           print("%s日期下没有相关日志"%day2)



        # 输出两天中后者中有的数据而在前者没有出现,取负值(-)区别
        print('')
        if len(dict_the_day_before_yesterday) != 0:
            print("++++++++++++++++只有%s有的数据,都取负值(-)予以区别++++++++++++++++" % day1)
            for i in dict_the_day_before_yesterday_difference:
                object = (dict_the_day_before_yesterday_difference[i]).split(',')
                name =  ((object[0]).split(',')[0])[:-10]+object[1]+'-'+object[2]
                docs = object[4]
                store = object[5]
                print(name+ ' docs: -' + str(docs) + ' store: -' + store)
        else:
           print("%s日期下没有相关日志"%day1)

    except:

        print("输入的参数可能不对,三个参数,地址,day1 day2")


# log_data('/Users/lee/Desktop/py交易/es.log','2017-08-11','2017-08-12')

log_data(sys.argv[1],sys.argv[2],sys.argv[3])

# /Users/lee/Desktop/py交易/test.log

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏技术专栏

慕课网Flask高级编程实战-10.鱼书业务处理

我们的首页会显示最近的赠送书籍列表。这个列表有三个限制条件: 1.数量不超过30 2.按照时间倒序排列,最新的排在最前面 3.去重,同一本书籍的礼物不重复...

16330
来自专栏炉边夜话

JNI设计实践之路

本文为在 32 位 Windows 平台上实现 Java 本地方法提供了实用的示例、步骤和准则。本文中的示例使用 Sun公司的 Java Development...

18630
来自专栏Java 源码分析

CountDownLatch 源码分析

CountDownLatch 源码分析 1. 在阅读源码时做了大量的注释,并且做了一些测试分析源码内的执行流程,由于博客篇幅有限,并且代码阅读起来没有 IDE...

36460
来自专栏码洞

如履薄冰 —— Redis懒惰删除的巨大牺牲

之前我们介绍了Redis懒惰删除的特性,它是使用异步线程对已经删除的节点进行延后内存回收。但是还不够深入,所以本节我们要对异步线程逻辑处理的细节进行分析,看看A...

9210
来自专栏名山丶深处

Hello——Java10新特性,请了解一下

27350
来自专栏公众号_薛勤的博客

Java多线程编程核心技术(三)多线程通信

通过本节可以学习到,线程与线程之间不是独立的个体,它们彼此之间可以互相通信和协作。

13280
来自专栏名山丶深处

Hello——Java10新特性,请了解一下

15050
来自专栏大前端_Web

NodeJS学习三之API

版权声明:本文为吴孔云博客原创文章,转载请注明出处并带上链接,谢谢。 https://blog.csdn.net/wkyseo/articl...

13930
来自专栏安恒网络空间安全讲武堂

WriteUp分享 | CTF-web

题目 各种绕过哦 TXT? 文件上传测试 本地包含 考细心 正则? PHP很烦人? 一道签到题 抽抽奖 never give up I have a j...

3.4K80
来自专栏小灰灰

Java 回调函数的使用

回调函数 回调函数是什么鬼, 回调函数干嘛用,回调函数可以怎么用 如果有过android开发经验,经常可以看到一些类似下面的代码 Button Btn1 = ...

40480

扫码关注云+社区

领取腾讯云代金券