专栏首页python小白到大牛用Python每秒钟下载一张高清大图,快不快?
原创

用Python每秒钟下载一张高清大图,快不快?

如果爬虫需要展现速度,我觉得就是去下载图片吧,原本是想选择去煎蛋那里下载图片的,那里的美女图片都是高质量的,我稿子都是差不多写好了的,无奈今天重新看下,妹子图的入口给关了。

至于为什么关呢,大家可以去看看XXX日报的关停原因吧或者百度下,这里就不多说了,这次我选择了去下载无版权高清图片,因为做自媒体的人很怕侵权,找无版权的图片仿佛成了日常工作,所以这次我选择了这个网站

链接

那下面来看看使用异步以及不使用异步的差别?

(右边是使用异步的,左边是没有使用异步的,由于用于测试,所以选择下载12张图片即可)

可以看到,在使用异步之后运行的时间比不使用异步的程序少了差不多6倍的时间,是不是感觉到high了起来?那我们分析下怎样爬取吧。

1. 找目标网页

这个网站首页就有一堆图片,而且往下拉时还会自动刷新,很明显是个ajax加载,但不怕,动态加载这东西我们之前讲过了,所以打开开发者工具看下是怎样的请求吧。

往下拉的时候很容易看到这个请求,这个是一个get请求,状态码为200

返回来的内容是个json类型,里面的links下的download就是我们图片下载的链接,现在所有东西都清楚了,那下面就是代码了。

2. 代码部分

asyncdef__get_content(self, link):

asyncwithai

response =awaitsession.get(link)

content =awaitresponse.read()

returncontent

这个是获取图片的内容的方法,ai

下面是完整代码

importrequests, os, time

importai

asyncio

classSpider(object):

def__init__(self):

self.headers = {

'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.99 Safari/537.36'}

self.num =1

if'图片'notinos.listdir('.'):

os.mkdir('图片')

self.path = os.path.join(os.path.abspath('.'),'图片')

os.chdir(self.path) # 进入文件下载路径

asyncdef__get_content(self, link):

def__get_img_links(self, page):

url =

data = {

'page': page,

'per_page':12,

'order_by':'latest'

}

response = requests.get(url, params=data)

ifresponse.status_code ==200:

returnresponse.json()

else:

print('请求失败,状态码为%s'% response.status_code)

asyncdef__download_img(self, img):

content =awaitself.__get_content(img[1])

withopen(img[0]+'.jpg','wb')asf:

f.write(content)

print('下载第%s张图片成功'% self.num)

self.num +=1

defrun(self):

start = time.time()

forxinrange(1,101): # 下载一百页的图片就可以了,或者自己更改页数

links = self.__get_img_links(x)

tasks = [asyncio.ensure_future(self.__download_img((link['id'], link['links']['download'])))forlinkinlinks]

loop = asyncio.get_event_loop()

loop.run_until_complete(asyncio.wait(tasks))

ifself.num >=10: # 测试速度使用,如需要下载多张图片可以注释这段代码

break

end = time.time()

print('共运行了%s秒'% (end-start))

defmain():

spider = Spider()

spider.run()

if__name__ =='__main__':

main()

可以看到不到50行的代码就可以把整个网网站的图片下载下来了,不得不吹一下python的强大~~~

大家有什么不太明白的话可以在下方留言,作者会进行答疑回复。

我有一个微信公众号,经常会分享一些python技术相关的干货;如果你喜欢我的分享,可以用微信搜索“python语言学习”关注

欢迎大家加入千人交流答疑裙:699+749+852

原创声明,本文系作者授权云+社区发表,未经许可,不得转载。

如有侵权,请联系 yunjia_community@tencent.com 删除。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • Python识别验证码的另一种花样玩法

    这里使用了 pytesseract 来进行验证码识别,它是基于 Google 的 Tesseract-OCR ,所以在使用之前需要先安装 Tesseract-O...

    猫咪编程
  • 3行代码Python搞定图片清晰度识别,原来我们看到的不一定是这样的

    在通常情况下,图片是否清晰是个感性认识,同一个图,有可能你觉得还过得去,而别人会觉得不清晰,缺乏一个统一的标准。然而有一些算法可以去量化图片的清晰度,做到有章可...

    猫咪编程
  • 庆祝法国队夺冠:用Python放一场烟花秀

    天天敲代码的朋友,有没有想过代码也可以变得很酷炫又浪漫?今天就教大家用Python模拟出绽放的烟花庆祝昨晚法国队夺冠,工作之余也可以随时让程序为自己放一场烟花秀...

    猫咪编程
  • WordPress 路径相关函数总结(二):主题路径相关函数

    上一篇文章是《WordPress 路径相关函数总结(一):站点路径相关函数》,今天这一篇则是针对WordPress 主题的函数,对于开发WordPress 主题...

    Jeff
  • 大数据驱动下的微博社会化推荐

    用户1737318
  • JavaScript 深拷贝性能分析

    作者:justjavac 链接:https://segmentfault.com/a/1190000013107871 如何在 JavaScript 中拷贝一个...

    程序员宝库
  • Gradle 如何打包 Spring Boot 如何不添加版本代码

    archiveFileName = "${archiveBaseName.get()}.${archiveExtension.get()}"

    HoneyMoose
  • Python图片裁剪的两种方式——Pillow和OpenCV

    在这篇文章里我们聊一下Python实现图片裁剪的两种方式,一种利用了Pillow,还有一种利用了OpenCV。两种方式都需要简单的几行代码,这可能也就是现在Py...

    软测小生
  • SAP Leonardo图片处理相关的机器学习服务在SAP智能服务场景中的应用

    版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。

    Jerry Wang
  • 悟空活动中台 - 基于 WebP 的图片高性能加载方案

    移动端网页的加载速度对用户体验极为重要,是影响页面转化率的关键因素,H5 活动页往往使用大量的图片素材来丰富活动效果,素材加载的快慢会对用户感知造成重要的影响。

    2020labs小助手

扫码关注云+社区

领取腾讯云代金券