Python异步加载爬虫,护士私密照源源不断,Ajax抓取速度惊人!

利用aiohttp这个库来进行异步协程提速!

如果Python爬虫不仅在代码编写上展现速度,而且在爬取过程中表现出优越感,最好的就是去下载图片吧,而下载图片最好的代表当然是......我就不多说了。

尝试使用异步以及不使用异步的速度差距

右边是使用异步的,左边是没有使用异步的,大概是六倍的差距。

分析下怎样里用Python爬取

1.找目标网页

网站首页有一堆图片,往下拉时还会自动刷新,很明显是个ajax动态加载,首先打开开发者工具看下是怎样的请求。

往下拉的时候可以看到这个请求是一个get请求

这个参数是变化的,其他的参数都是不变的。

2.代码部分

这个是获取图片的内容的方法

下面是完整代码

python代码的优势体现的玲离尽致,不超过50行的Python代码即可下载整站图片。

  • 发表于:
  • 原文链接https://kuaibao.qq.com/s/20180716A0XBZ300?refer=cp_1026
  • 腾讯「腾讯云开发者社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。
  • 如有侵权,请联系 cloudcommunity@tencent.com 删除。

扫码关注腾讯云开发者

领取腾讯云代金券