不吹不黑,Python使用异步每秒钟就能下载一张高清大图

这篇文章是利用aiohttp这个库来进行说明的。

如果爬虫需要展现速度,我觉得就是去下载图片吧,原本是想选择去煎蛋那里下载图片的,那里的美女图片都是高质量的,我稿子都是差不多写好了的,无奈今天重新看下,妹子图的入口给关了,至于为什么关呢,大家可以去看看昨天好奇心日报的关停原因吧或者百度下,这里就不多说了,这次我选择了去下载无版权高清图片,因为做自媒体的人很怕侵权,找无版权的图片仿佛成了日常工作,所以这次我选择了这个网站

https://unsplash.com/

那下面来看看使用异步以及不使用异步的差别?

(右边是使用异步的,左边是没有使用异步的,由于用于测试,所以选择下载12张图片即可)

可以看到,在使用异步之后运行的时间比不使用异步的程序少了差不多6倍的时间,是不是感觉到high了起来?那我们分析下怎样爬取吧。

1.找目标网页

这个网站首页就有一堆图片,而且往下拉时还会自动刷新,很明显是个ajax加载,但不怕,动态加载这东西我们之前讲过了,所以打开开发者工具看下是怎样的请求吧。

往下拉的时候很容易看到这个请求,这个是一个get请求,状态码为200,网址为https://unsplash.com/napi/photos?page=3&per_page=12&order_by=latest,有三个参数,很容易知道page参数就是页,这个参数是变化的,其他的参数都是不变的。

返回来的内容是个json类型,里面的links下的download就是我们图片下载的链接,现在所有东西都清楚了,那下面就是代码了。

2.代码部分

这个是获取图片的内容的方法,aiohttpClientSession和requests.session的用法是差不多,只不过获取unicode编码的方法变成了read()。

下面是完整代码

可以看到不到50行的代码就可以把整个网网站的图片下载下来了,不得不吹一下python的强大~~~

  • 发表于:
  • 原文链接https://kuaibao.qq.com/s/20181122A1ZUAN00?refer=cp_1026
  • 腾讯「云+社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。
  • 如有侵权,请联系 yunjia_community@tencent.com 删除。

扫码关注云+社区

领取腾讯云代金券