专栏首页数据森麟真香还是假香,Python处理分析128张Excel表格竟然不到3秒?

真香还是假香,Python处理分析128张Excel表格竟然不到3秒?

作者:吹牛Z 来源:数据不吹牛

更新完Pandas基础教程,后台有不少旁友留言,想要了解怎么用Python提升处理数据的效率,或者说怎么用Python自动处理多张Excel表格,于是乎便有了本文。这篇文章算是Python数据分析实战的第二个独立案例。

注:案例128张完整源数据和代码,公众号后台回复“表格处理”即可获取。

案例背景

在另一个平行世界,有一家专注于户外运动的巨头公司。既然是巨头,为了更加亲切,我们就叫他大头吧。大头的旗下有20个品牌,这些品牌涉及到128个类目(细分行业),涉及范围之广令人咋舌,可谓遍地开花。

平行世界的小Z就是这家巨无霸的数据分析师,今天刚来公司就接到了一个需求——下班前务必筛选出近一年销售额总额TOP5的品牌以及对应的销售额。

近一年?TOP5?

WOC,这么简单的需求也算需求?直接排个序不就好了。

还一天时间,不急不急,先来一杯咖啡,再看看新闻。

一眨眼的功夫,时间来到了17:30,小Z觉得今天的需求可以开动了,做完之后还能简单分析一下,应该能赶在18:00整点下班。

当他打开同事共享给他的表格文件,他才体会到,绝望,原来这么远,又这么近。

业务部门的同事总共发来了128张表,每一份表格对应着一个细分行业的数据,像什么各类户外服装、垂钓装备、救生装备应有尽有。

每张表,以月的维度(2018年9月-2019年8月,近一年)记录着每个品牌的日期、访客、客单、转化、所属类目(细分行业)等数据:

注:不要问为啥表格数据存储这么奇葩,因为在平行世界,就是要任性,毕竟复杂的表格才能体现出Python的高效

小Z开始盘算,最终需求是要筛选出近一年销售额总和排名前5的品牌,这一摊子数据,对单独的一张表进行分类汇总,能够得到该细分行业各品牌的销售额,想要得到所有行业的销售额总和,得分类汇总128次,最后对128次结果再次合并。

“这个任务看上去很艰巨,不过,考验的主要是体力。”小Z一眼就“看穿”了事情的本质。同时脑海中蹦出了“红军不怕远征难”几个红彤彤的大字。接着,他带上耳机,打开了唐朝乐队的“国际歌”,在双重buff的加持下,开始了表格的远征。

果然是个处理数据的好手,小Z右手食指在鼠标上飞速跳动,以90秒一张表格的速度疯狂推进。按照这个速度,不考虑疲劳值对速度的拖累,大概3.2个小时就能够完成任务。

国际歌循环到第10遍,小Z有些气馁,第20遍,开始感到绝望。

就在行将放弃之际,他想起了Python的潘大师(Pandas),虽然最近刚学还不是很熟练,但事到临头,黑暗中的一缕微光,那就是唯一的希望,小Z决定用Pandas来尝试解决问题。

他明白,用Python解决批量问题的核心,在于梳理并解决单个问题,然后批量循环。

单个表格处理

首先,导入模块,打开单个表格:

接着,是要汇总不同品牌在这个细分行业下的销售额,我们要汇总的是各品牌近一年(2018年9月-2019年8月)的销售额,先看看日期是否正确:

正要汇总销售额,小Z发现没有销售额的字段,但销售额是可以通过访客数*转化率*客单价三者的乘积来计算的:

按品牌来汇总销售额,得到近一年各品牌销售额合计:

这里有个细节,最终小Z要汇总的是所有细分行业的销售额,对于单独行业的销售额,应该加一个区分的标签以防覆盖,而打开时候的文件名,具有天然的区分和防覆盖优势,但要注意去掉文件的后缀。

OK,单个表格处理完成,我们把这一系列操作推而广之即可。

批量循环执行

小Z用os.listdir方法来遍历文件名,批量循环访问并处理文件,同时引入time计时,打算看一看,面对128张表,Python完成这些操作到底能够比手动快多少:

WOC,整个过程一气呵成,不到3秒,平均一张表格0.02秒!真香!

为了确保数据正常,来预览一下:

这一串看起来很奇怪的销售额,是pandas自作主张把实际销售额变成了科学记数法形式来展示,要还原数值,需要更改一下原始的设置:

OK,无论是习惯还是法理,都得到了我们希望的结果——近一年销售TOP5品牌及其对应的销售额。从数据结果来看,大头公司下的20个品牌全面开花,以品牌5为先锋,一年销售高达12.26亿,排名最后的品牌体量也达到了9.79亿元,平均单品牌销售10.85亿元。

总结

本文以一个简单又复杂的场景切入,简单是需求本身非常简单,而复杂则是基础数据涉及到的表格多而杂。代码和逻辑本身浅显易懂,主要为了抛出一块砖,敲开批量处理表格的思维藩篱,以引出同志们实践中,在合适场景下用Python来化繁为简的玉。案例中表格共128张,大家可以自己尝试和探索更有趣的分析。

本文分享自微信公众号 - 数据森麟(shujusenlin)

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2019-10-26

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 渗透测试该如何全面检测网站漏洞

    昨天给大家普及到了渗透测试中执行命令漏洞的检测方法,今天抽出时间由我们Sine安全的渗透工程师来讲下遇到文件包含漏洞以及模板注入漏洞的检测方法和防御手段,本文仅...

    网站安全专家
  • LeetCode 136:只出现一次的数字 Single Number

    给定一个非空整数数组,除了某个元素只出现一次以外,其余每个元素均出现两次。找出那个只出现了一次的元素。

    爱写bug
  • LeetCode 202: 快乐数 Happy Number

    一个 “快乐数” 定义为:对于一个正整数,每一次将该数替换为它每个位置上的数字的平方和,然后重复这个过程直到这个数变为 1,也可能是无限循环但始终变不到 1。如...

    爱写bug
  • httprunner学习16-locust性能测试

    安装完成 HttpRunner 后,系统中会新增locusts命令,但不会同时安装 Locust。 使用locusts -V查看时,会提示需要先安装locust...

    上海-悠悠
  • 17个Python骚操作,你都Ok吗?

    很多读者都知道 Python 是一种高级编程语言,其设计的核心理念是代码的易读性,以及允许编程者通过若干行代码轻松表达想法创意。

    程序员小强
  • 利用Python进行数据分析(8) pandas基础: Series和DataFrame的基本操作

    针对 Series 的重新索引操作 重新索引指的是根据index参数重新进行排序。如果传入的索引值在数据里不存在,则不会报错,而是添加缺失值的新行。不想用缺失值...

    公众号---志学Python
  • Linux下删除大量文件

    ➜ test for i in $(seq 1 500000);do echo text >>$i.txt;done

    小小科
  • Github中文项目排行榜,你永远想不到开发者都用它干了什么

    不久前,有 GitHub 用户吐槽说,GitHub 的每日趋势榜不按照国家和地区来区分,使得榜单上总会有很多点赞量很大的中文项目,有时候甚至会占据半壁江山。这位...

    机器之心
  • Octave Convolution详解

    Octave Convolution来自于这篇论文《Drop an Octave: Reducing Spatial Redundancy in Convolu...

    努力努力再努力F
  • 廖雪峰历时 3 个月打磨出价值 1980 的数据分析教程,终终终于免费啦!

    对比互联网各个岗位的裁员程度可以发现,数据分析相关岗位正在不断的扩招,已经成为了这波逆流中的黑马,什么原因导致的数据分析人才如此紧缺?

    崔庆才

扫码关注云+社区

领取腾讯云代金券