前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >Pandas中Apply函数加速百倍的技巧

Pandas中Apply函数加速百倍的技巧

作者头像
数据派THU
发布2023-03-29 13:23:37
5140
发布2023-03-29 13:23:37
举报
文章被收录于专栏:数据派THU数据派THU
代码语言:javascript
复制
来源:kaggle竞赛宝典 
本文约2000字,建议阅读5分钟 本文为你介绍让apply函数加速600倍的小技巧。

[ 引言 ] 虽然目前dask,cudf等包的出现,使得我们的数据处理大大得到了加速,但是并不是每个人都有比较好的gpu,非常多的朋友仍然还在使用pandas工具包,但有时候真的很无奈,pandas的许多问题我们都需要使用apply函数来进行处理,而apply函数是非常慢的,本文我们就介绍如何加速apply函数600倍的技巧。

实验对比

01 Apply(Baseline)

我们以Apply为例,原始的Apply函数处理下面这个问题,需要18.4s的时间。

代码语言:javascript
复制
import pandas as pdimport numpy as npdf = pd.DataFrame(np.random.randint(0, 11, size=(1000000, 5)), columns=('a','b','c','d','e'))def func(a,b,c,d,e):    if e == 10:        return c*d    elif (e < 10) and (e>=5):        return c+d    elif e < 5:        return a+b%%timedf['new'] = df.apply(lambda x: func(x['a'], x['b'], x['c'], x['d'], x['e']), axis=1)CPU times: user 17.9 s, sys: 301 ms, total: 18.2 sWall time: 18.4 s

02 Swift加速

因为处理是并行的,所以我们可以使用Swift进行加速,在使用Swift之后,相同的操作在我的机器上可以提升到7.67s。

代码语言:javascript
复制
%%time# !pip install swifterimport swifterdf['new'] = df.swifter.apply(lambda x : func(x['a'],x['b'],x['c'],x['d'],x['e']),axis=1)HBox(children=(HTML(value='Dask Apply'), FloatProgress(value=0.0, max=16.0), HTML(value='')))
CPU times: user 329 ms, sys: 240 ms, total: 569 msWall time: 7.67 s

03 向量化

使用Pandas和Numpy的最快方法是将函数向量化。如果我们的操作是可以直接向量化的话,那么我们就尽可能的避免使用:

  • for循环;
  • 列表处理;
  • apply等操作

在将上面的问题转化为下面的处理之后,我们的时间缩短为:421 ms。

代码语言:javascript
复制
%%timedf['new'] = df['c'] * df['d'] #default case e = =10mask = df['e'] < 10df.loc[mask,'new'] = df['c'] + df['d']mask = df['e'] < 5df.loc[mask,'new'] = df['a'] + df['b']CPU times: user 134 ms, sys: 149 ms, total: 283 msWall time: 421 ms

04 类别转化+向量化

我们先将上面的类别转化为int16型,再进行相同的向量化操作,发现时间缩短为:116 ms。

代码语言:javascript
复制
for col in ('a','b','c','d'):    df[col] = df[col].astype(np.int16) %%timedf['new'] = df['c'] * df['d'] #default case e = =10mask = df['e'] < 10df.loc[mask,'new'] = df['c'] + df['d']mask = df['e'] < 5df.loc[mask,'new'] = df['a'] + df['b']CPU times: user 71.3 ms, sys: 42.5 ms, total: 114 msWall time: 116 ms
代码语言:javascript
复制

05 转化为values处理

在能转化为.values的地方尽可能转化为.values,再进行操作。

  • 此处先转化为.values等价于转化为numpy,这样我们的向量化操作会更加快捷。

于是,上面的操作时间又被缩短为:74.9ms。

代码语言:javascript
复制
%%timedf['new'] = df['c'].values * df['d'].values #default case e = =10mask = df['e'].values < 10df.loc[mask,'new'] = df['c'] + df['d']mask = df['e'].values < 5df.loc[mask,'new'] = df['a'] + df['b']CPU times: user 64.5 ms, sys: 12.5 ms, total: 77 msWall time: 74.9 ms
代码语言:javascript
复制

实验汇总

通过上面的一些小的技巧,我们将简单的Apply函数加速了几百倍,具体的:

  • Apply: 18.4 s
  • Apply + Swifter: 7.67 s
  • Pandas vectorizatoin: 421 ms
  • Pandas vectorization + data types: 116 ms
  • Pandas vectorization + values + data types: 74.9ms

作者:杰少,本文大部分内容参考引文

参考文献:Do You Use Apply in Pandas? There is a 600x Faster Way

编辑:黄继彦

本文参与 腾讯云自媒体分享计划,分享自微信公众号。
原始发表:2021-09-06,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 数据派THU 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体分享计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档