【图文详解】python爬虫实战——5分钟做个图片自动下载器

我想要(下)的,我现在就要

python爬虫实战——图片自动下载器

之前介绍了那么多基本知识【Python爬虫】入门知识(没看的赶紧去看)大家也估计手痒了。想要实际做个小东西来看看,毕竟:

talk is cheap show me the code!

这个小工程的代码都在github上,感兴趣的自己去下载: https://github.com/hk029/Pickup

制作爬虫的基本步骤

顺便通过这个小例子,可以掌握一些有关制作爬虫的基本的步骤。

一般来说,制作一个爬虫需要分以下几个步骤:

  1. 分析需求(对,需求分析非常重要,不要告诉我你老师没教你)
  2. 分析网页源代码,配合F12(没有F12那么乱的网页源代码,你想看死我?)
  3. 编写正则表达式或者XPath表达式(就是前面说的那个神器)
  4. 正式编写python爬虫代码

效果

运行:

恩,让我输入关键词,让我想想,输入什么好呢?好像有点暴露爱好了。

回车

好像开始下载了!好赞!,我看看下载的图片,哇瞬间我感觉我又补充了好多表情包....

好了,差不多就是这么个东西。

需求分析

"我想要图片,我又不想上网搜“ "最好还能自动下载" ……

这就是需求,好了,我们开始分析需求,至少要实现两个功能,一是搜索图片,二是自动下载。

首先,搜索图片,最容易想到的就是爬百度图片的结果,好,那我们就上百度图片看看

基本就是这样,还挺漂亮的。

我们试着搜一个东西,我打一个暴字,出来一系列搜索结果,这说明什么....

随便找一个回车

好了,我们已经看到了很多图片了,如果我们能把这里面的图片都爬下来就好了。我们看见网址里有关键词信息

我们试着在网址直接换下关键词,跳转了有没有!

这样,可以通过这个网址查找特定的关键词的图片,所以理论上,我们可以不用打开网页就能搜索特定的图片了。下个问题就是如何实现自动下载,其实利用之前的知识,我们知道可以用request,获取图片的网址,然后把它爬下来,保存成.jpg就行了。

所以这个项目就应该可以完成了。

分析网页

好了,我们开始做下一步,分析网页源代码。这里 我先切换回传统页面,为什么这样做,因为目前百度图片采用的是瀑布流模式,动态加载图片,处理起来很麻烦,传统的翻页界面就好很多了。

这里还一个技巧,就是:能爬手机版就不要爬电脑版,因为手机版的代码很清晰,很容易获取需要的内容。

好了,切换回传统版本了,还是有页码的看的舒服。

我们点击右键,查看源代码

这都是什么鬼,怎么可能看清!!

这个时候,就要用F12了,开发者工具!我们回到上一页面,按F12,出来下面这个工具栏,我们需要用的就是左上角那个东西,一个是鼠标跟随,一个是切换手机版本,都对我们很有用。我们这里用第一个

然后选择你想看源代码的地方,就可以发现,下面的代码区自动定位到了这个位置,是不是很NB!

我们复制这个地址

然后到刚才的乱七八糟的源代码里搜索一下,发现它的位置了!(小样!我还找不到你!)但是这里我们又疑惑了,这个图片怎么有这么多地址,到底用哪个呢?我们可以看到有thumbURL,middleURL,hoverURL,objURL

通过分析可以知道,前面两个是缩小的版本,hover是鼠标移动过后显示的版本,objURL应该是我们需要的,不信可以打开这几个网址看看,发现obj那个最大最清晰。

好了,找到了图片位置,我们就开始分析它的代码。我看看是不是所有的objURL全是图片

貌似都是以.jpg格式结尾的,那应该跑不了了,我们可以看到搜索出61条,说明应该有61个图片

编写正则表达式

通过前面的学习,写出如下的一条正则表达式不难把?

编写爬虫代码

好了,正式开始编写爬虫代码了。这里我们就用了2个包,一个是正则,一个是requests包,之前也介绍过了,没看的回去看!

然后我们把刚才的网址粘过来,传入requests,然后把正则表达式写好

理论有很多图片,所以要循环,我们打印出结果来看看,然后用request获取网址,这里由于有些图片可能存在网址打不开的情况,加个5秒超时控制。

好了,再就是把网址保存下来,我们在事先在当前目录建立一个picture目录,把图片都放进去,命名的时候,用数字命名把

整个代码就是这样:

我们运行一下,看效果

好了我们下载了58个图片,咦刚才不是应该是61个吗?

我们看,运行中出现了有一些图片下载不了

我们还看到有图片没显示出来,打开网址看,发现确实没了。

所以,百度有些图片它缓存到了自己的机器上,所以你还能看见,但是实际连接已经失效

好了,现在自动下载问题解决了,那根据关键词搜索图片呢?只要改url就行了,我这里把代码写下来了

好了,享受你第一个图片下载爬虫吧!!当然不只能下载百度的图片拉,依葫芦画瓢,你现在应该做很多事情了,比如爬取头像,爬淘宝展示图,或是...美女图片,捂脸。一切都凭客官你的想象了,当然,作为爬虫的第一个实例,虽然纯用request已经能解决很多问题了,但是效率还是不够高,如果想要高效爬取大量数据,还是用scrapy吧。

这个小工程的代码都在github上,感兴趣的自己去下载: https://github.com/hk029/Pickup

作者:voidsky_很有趣儿 来源:http://www.jianshu.com/p/19c846daccb3


本文分享自微信公众号 - 马哥Linux运维(magedu-Linux)

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2017-09-09

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏抠抠空间

webpack基础

16600
来自专栏知晓程序

晓实战 | 第一手小程序模板消息推送开发心得分享

我们会定期邀请优秀的开发者,从实践的角度,亲自分享他们使用知晓云(cloud.minaapp.com)开发的实战经验。

29850
来自专栏WeTest质量开放平台团队的专栏

微信小程序之提高应用速度小技巧

小程序科普类的文章已经很多了,今天这里讲的是针对小程序的优化方法,可以有效提高小程序的响应速度和用户体验。当然,开发体验也提高不少。

2.5K00
来自专栏编程

八个技巧,提高Web前端性能

1. 优化 CSS 性能 CSS,即级联样式表,能从 HTML 描述的内容生成专业而又整洁的文件。很多 CSS 需要通过 HTTP 请求来引入(除非使用内联 C...

242100
来自专栏佳爷的后花媛

使用vue做一个本地记事本(一)

这个参考的是一个记事本的demo,为了面试学的vue,看了两天,觉得想要更快的上手最好还是做一个demo。这是我刚开始学的时候做的一些小demo,跟着文档来的。...

24920
来自专栏jojo的技术小屋

原 荐 如何扒视频

作者:汪娇娇 时间:2017年11月8日 说到前端开发,免不了在网页里放视频,放视频的话,有时候又免不了扒视频,下面就是我扒视频的辛酸历程,大家且看且珍惜吧。 ...

1K90
来自专栏WindCoder

优化WordPress性能的高级指南

虽然玩wordpress,但对wordpress和php内部了解不多,这篇文章算是自己的视野扩展吧,不足之处,欢迎指出,老规矩,能力强的可以直接读原文。

86020
来自专栏北京马哥教育

定时任务调度与管理平台JobCenter | crontab替代者

没有JobCenter时我们要面对的: 电商业务链条很长,业务逻辑也较为复杂,需要成百上千种定时任务。窝窝的大多数定时任务其实调用的是本地或远端 Java/PH...

1.3K110
来自专栏北京马哥教育

实战:用 Python 爬虫攻破爱奇艺 VIP 视频防线

一、实战背景 爱奇艺的VIP视频只有会员能看,普通用户只能看前6分钟。比如加勒比海盗5的URL:http://www.iqiyi.com/v_19rr7qhfg...

62080
来自专栏Python中文社区

Python爬虫之微博评论爬取

專 欄 ❈ 罗罗攀,Python中文社区专栏作者 专栏地址: http://www.jianshu.com/u/9104ebf5e177 ❈ 提交Cooki...

28050

扫码关注云+社区

领取腾讯云代金券