只需这个简单的两步,能大幅提高你的Python数据处理速度

在数据分析领域,最热门的莫过于Python和R语言。其中,数据分析库pandas是Python最经典的库之一。它使用一个二维的DataFrame来表示表格式的数据,相比较于Numpy,Pandas可以存储混合的数据结构,同时使用NaN来表示缺失的数据,而不用像Numpy一样要手工处理缺失的数据,并且Pandas使用轴标签来表示行和列。

一般来说,用pandas处理小于100兆的数据,性能不是问题。但当我们要处理大量数据时,如何优化DataFrame的操作就需要仔细斟酌了。

例子

我们想象一个例子,你要处理一个csv文件,你想要把数据清洗后输出到另一个dataframe中,做后续处理。一个简单的程序如下:

十分简单,不是吗?我们仅仅是把输入的dataframe(indf)扩展到输出outdf中去了。我们看一下运行时间:

Time spent: 0:01:58.830000

2分钟处理8000个单元,还行?这个远远不够,想象一下我们有10万个这样的csv要处理怎么办?那需要278天!怎么提高效能呢?

第一步

Dataframe的append效能很低,如果我们知道未来表的条目,预先分配好空间,将来直接向里面填入内容会快不少,我们来修改一下程序:

结果好了不少:

Time spent: 0:01:27.636000

少了半分钟,是不是就这样了呢?还远远不够。

第二步

Dataframe检索每一行有好几个操作:loc,iloc,ix,at。它们效能有什么差别吗?我们来试一下:

loc,iloc,ix看起来速度都差不多,at可是快了将近1000倍啊,可惜的是at只能选择某个单元而不是整行。没关系,我们来改一下程序:

结果大为改善:

Time spent: 0:00:07.850000

只有7秒,比以前快了12倍!更比开始的时候快了15倍多。

结论

如果目标数据集行数确定,我们应该先分配出来,在一项项填入而不是append,要做填空题而不是做补充题;尽量选择用at/iat而是不是方便的loc/iloc或者ix。

最后给大家一个思考题,为什么我在最后的程序里面加了个

outdf.loc[0] = indf.loc[0]

不加会怎么样?

  • 发表于:
  • 原文链接:https://kuaibao.qq.com/s/20181214A0JEIL00?refer=cp_1026
  • 腾讯「云+社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。

扫码关注云+社区