左手用R右手Python系列——使用多进程进行任务处理

数据抓取中的密集任务处理,往往会涉及到性能瓶颈,这时候如果能有多进程的工具来进行支持,那么往往效率会提升很多。

今天这一篇分享在R语言、Python中使用调用多进程功能进行二进制文件下载。

导入待下载的文件:

在R语言中,文件下载的思路一般有三种可选方案:

方案1——构建显示循环:

一共10个PDF文件,下载过程未设置等待时间,平均4.5m,一共44.5m,总耗时100m。

方案2——使用plyr包中的向量化函数

有点惨,同样的10个pdf文档,耗时机会没啥变化,这一次是99.89,比上一次99.91只节省了0.02m,不过我使用的校园网(网速特别烂的那种,感兴趣可以在宽带性能比较高的条件下再测试一下)

方案3——使用多进程包进行并发处理:

这里使用的多进程包是foreach包,你也可以尝试使用Parallel包来处理。

这次一共使用了……99.46,好吧,我可能用的假的多进程,不过总之总耗时少了不是嘛,从99.91到98.72,还是节省了将近1.19秒。

而且代码看起来又优雅了不少(好吧我编不下去了~_~)

对于R语言的多进程目前我还了解的不多,如果以后有新的理解会从新梳理这一块,感兴趣的也可以自行探索foreach这个包的内部多进程执行机制。

Python:

方案1——使用显式声明的循环进行下载:

居然比R语言的循环慢了三秒钟,接下来尝试使用多进程/多线程来尝试下载这些PDF文档。

方案2——使用threading包提供的多线程方式进行下载:

方案3——使用multiprocessing包提供的多进程功能

当使用multiprocessing包的进程池功能时,我的代码运行出现锁死挂起的状态,就是没有输出也不退出,甚至不能强制中断,查了一下是Windows平台对于forks机制的特殊问题,算是个坑吧。

我自己对于多进程理解的极其肤浅,这里先占个坑,等我理解深入了,找到好的解决方案来回来填~-~

欢迎关注数据小魔方qq交流群

  • 发表于:
  • 原文链接http://kuaibao.qq.com/s/20171217G03EC900?refer=cp_1026
  • 腾讯「云+社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。
  • 如有侵权,请联系 yunjia_community@tencent.com 删除。

扫码关注云+社区

领取腾讯云代金券