专栏首页三流程序员的挣扎Python 小白的第一次实践——将统计数据转成 Execl

Python 小白的第一次实践——将统计数据转成 Execl

背景

公司项目的广告展示率太低,需要查找原因,之前做了统计埋点,运维给出过滤后的数据,一个 txt 文件 500M 以上,文件打开非常乱。

txt.png

询问运维是否有工具转换,回复说没有,然后想到之前重学 Python3 的初衷,就是为了能写一些脚本方便处理一些事情。

这个数据主要是 HTTP 的 GET 请求,需要转码,然后把参数拿到,目标是写到 Execl 文件中。

因为一直没用,语法也记不清楚,只能不停回看笔记,关于 Execl 这块也没用过,临时网上查找。

读文件

由于原文件太大,所以先复制了一部分存入当前目录的 test.txt 文件中。

import os

file = open('./test.txt') # 打开文件
for line in file: # 按行遍历文件
    ... 
    
file.close() # 最后要关闭

遍历每一行数据后,转码,分割,转成字典结构

import urllib.parse

# 定义个方法将一行数据转成字典
def getOneDict(line):
    params = dict() # 创建字典保存数据

    pre = 'timeAnalysis?' 
    index = line.find(pre) # 找到这个位置,后面的数据是需要的参数
    if index > -1:
        line = line[index+len(pre):].split()[0] # 先截子串然后选空格之前的
        line = urllib.parse.unquote(line) # 网上搜到的用于将 HTTP 编码后的文字解码
        paramList = line.split('&') # 得到类似 s=android 的内若

        for item in paramList:
            param = item.split('=')
            if (len(param) > 1): # 如果等于号后面有值
                params[param[0]] = param[1] # 字典加个数据
    return params

创建 Execl 文件

有了每一行对应的字典,就想把这内容写到 Execl 文档里。要先切换到 pip3 目录,执行 sudo pip3 install openpyxl 安装 openpyxl 模块,最新的语法参考 http://openpyxl.readthedocs.io/en/stable/

import openpyxl

def createExcel():
    if 'time.xlsx' in os.listdir('./'): # 如果有了这个文件,就不要再创建了
        return

    wb = openpyxl.Workbook() # 创建 Execl
    wb.active.title = 'Splash' # 默认有一个活动的 Sheet,把名字改成 Splash
    wb.create_sheet(title='Home') # 再创建一个 Sheet
    wb.save('time.xlsx') # 最后一定不能忘了这句

结果本地生成了文件 time.xlsx,打开后有两个 Sheet。

execl.png

向 Execl 中插入数据

看 Execl,横向是 A、B、C... 这样编号,纵向是 1、2、3... 这样编号,看文档可以通过两个编号组合来定位。我这里没用这个函数。

我需要把字典里的 key 作为第一行用作标题,然后每来一个字典里的数据,先寻找是否有了这个 key,有了就往下一行添加对应的 value,没有的话先添加一列,行数是第一行,值是字典里的这个 key,然后再添加 value。

def writeToExecl(params):
    wb = openpyxl.load_workbook('time.xlsx') # 打开 Execl 文件
    splashSheet = wb['Splash'] # 找到两个 Sheet
    homeSheet = wb['Home']
    if params['pid'] == '04': # 如果字典里有一个 pid=04 的,要放到 Splash 表里
        writeToSheet(splashSheet, wb, params)
    elif params['pid'] == '00': 
        writeToSheet(homeSheet, wb, params)
def getValue(t):
    return t.value

def writeToSheet(sheet, wb, params):
    rows = tuple(sheet.rows) # 拿到所有行转成元组
    index = len(rows) + 1 # 在原有的行数的下一行插入数据
    print('rows ' + str(index))
    titles = list(map(getValue, rows[0])) # 用高阶函数 map 转换第一行,拿到里面的 value,然后要转成 list
    if titles == [None]: # 测试发现列表不是空的,长度是 1,里面是 None,所以判断一下
        titles = []

    for k,v in params.items(): # 遍历字典
        if k in titles: # 如果第一行有这个标题,直接插值
            sheet.cell(row = index, column = titles.index(k) + 1).value = v # 行数为 index,列为这个 key 在的行,cell 里的索引从 1 开始
        else:        
            sheet.cell(row = 1, column = len(titles) + 1).value = k # 先插标题,先插了一列
            sheet.cell(row = index, column = len(titles) + 1).value = v # 再插字典的 value
            titles.append(k) # 标题多了一个,要更新
    wb.save('time.xlsx') # 保存以生效

遍历文件

将要分析的文件放入当前目录的 web 文件夹下,然后遍历,对每一个文件进行读取。

for file in os.listdir('./web'):
    print('read file ' + os.path.basename(file))
    readAFile('./web/' + file)
    
def readAFile(filename):
    file = open(filename)
    for line in file:
        params = getOneDict(line)
        if (len(params) == 0): # 如果字典为空,继续下一行
            continue
        writeToExecl(params)
    file.close()

其它

运行时报出了一个错误

...
self._buffer_decode(data, self.errors, final)
UnicodeDecodeError: 'utf-8' codec can't decode byte 0x80 in position 3131: invalid start byte ...

网上搜了下,是编码的问题,没去特地解决,一两行数据不影响统计比例,找到一种方法,打开文件时忽略错误。

file = open(filename, errors='ignore')

还有生成的文件名,要分析文件的路径等可以通过命令行参数传入,这样可用性高些,就不搞了。

整体做下来,其实功能很简单,但是由于对语言的不熟悉,花了不少时间,map 这个高级函数还是因为 Kotlin,Rx 里都有类似的,所以搜了下才知道,有些不知道的可能就写繁琐了。

文件太大,写入时间太长,只运行了一会看了一些数据,分析出大概的原因,最终还是让运营再去过滤分析比例的。

结果

源代码

import os
import urllib.parse
import openpyxl
import sys

# 将一行数据转成字典
def getOneDict(line):
    params = dict() # 创建字典保存数据

    pre = 'timeAnalysis?'
    index = line.find(pre)
    if index > -1:
        line = line[index+len(pre):].split()[0]
        line = urllib.parse.unquote(line)
        paramList = line.split('&')

        for item in paramList:
            param = item.split('=')
            if (len(param) > 1):
                params[param[0]] = param[1]
    return params

def createExcel():
    if 'time.xlsx' in os.listdir('./'):
        return

    wb = openpyxl.Workbook() # 创建Execl
    wb.active.title = 'Splash'
    wb.create_sheet(title='Home')
    wb.save('time.xlsx')

def writeToExecl(params):
    wb = openpyxl.load_workbook('time.xlsx')
    splashSheet = wb['Splash']
    homeSheet = wb['Home']
    if params['pid'] == '04': # 开屏
        writeToSheet(splashSheet, wb, params)
    elif params['pid'] == '00': # 首页
        writeToSheet(homeSheet, wb, params)

def getValue(t):
    return t.value

def writeToSheet(sheet, wb, params):
    rows = tuple(sheet.rows)
    index = len(rows) + 1 # 从这一行开始插入数据

    titles = list(map(getValue, rows[0])) # 拿到第1行的内容,做标题用
    if titles == [None]:
        titles = []

    for k,v in params.items():

        if k in titles:
            sheet.cell(row = index, column = titles.index(k) + 1).value = v
        else:
            sheet.cell(row = 1, column = len(titles) + 1).value = k # 先插标题
            sheet.cell(row = index, column = len(titles) + 1).value = v
            titles.append(k) # 更新标题
    wb.save('time.xlsx')

def readAFile(filename):
    file = open(filename, errors='ignore')
    for line in file:
        params = getOneDict(line)
        if (len(params) == 0):
            continue
        writeToExecl(params)
    file.close()

createExcel()

for file in os.listdir('./web'):
    print('read file ' + os.path.basename(file))
    readAFile('./web/' + file)

生成 Execl 如下

execl2.png

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • Android 动画总结(4) - 插值器

    Interpolator 插值器,作用就是把 0 到 1 的浮点值变化映射到另一个浮点值变化,即根据时间流逝百分比计算出动画变化百分比。

    七适散人
  • Android 动画总结(3) - 补间动画

    Tween Animation 包括、ScaleAnimation、TranslateAnimation、RotateAnimation 以及这四种动画的组合 ...

    七适散人
  • 滑动吸顶效果

    需求是先滑动里面的列表,滑动到一个位置时外面滑动,外面滑动一段距离后再里面滑动。最初想用 CoordinatorLayout 加 RecyclerView,但效...

    七适散人
  • 2018北大AI公开课13期全干货盘点 | 课程笔记+视频回顾

    量子位
  • 在windows环境里,用Docker搭建Redis开发环境(新书第一个章节)

    大家都知道高并发分布式组件的重要性,而且如果要进大厂,这些技术不可或缺。但这些技术的学习难点在于,大多数项目里的分布式组件,都是搭建在Linux系统上,...

    用户1153489
  • Linux上创建、列出、删除Docker容器方法总结

    使用下面的命令启动新的Docker容器。这将启动一个新的容器,并为你提供使用/bin/bash shell访问该容器的权限。

    砸漏
  • 骥智智能2018目标:F1赛车全视觉无人驾驶; ver0.01效果show

    2018年目标:F1赛车全视觉无人驾驶:需要的软件(自动驾驶框架等)、硬件(底盘控制、芯片、传感器训练用)、算法(模仿学习-强化学习-生成模型)、模拟、可视化、...

    用户1908973
  • 发现一个windows7(32bit或64bit)DirectUI的bug

    (转载请指明出于breaksoftware的c sdn博客) ...

    方亮
  • 几个实用的 WordPress 代码片段

    沈唁
  • 讲真?一天就学会了自动驾驶——强化学习在自动驾驶的应用

    用户1737318

扫码关注云+社区

领取腾讯云代金券