Scrapy爬虫(4)爬取豆瓣电影Top250图片

  在用Python的urllib和BeautifulSoup写过了很多爬虫之后,本人决定尝试著名的Python爬虫框架——Scrapy.

  本次分享将详细讲述如何利用Scrapy来下载豆瓣电影Top250, 主要解决的问题有:

如何利用ImagesPipeline来下载图片

如何对下载后的图片重命名,这是因为Scrapy默认用Hash值来保存文件,这并不是我们想要的

  首先我们要爬取的豆瓣电影Top250网页截图如下:

豆瓣电影Top250网页

  网页的结构并不复杂,所以,我们决定把所有的250部电影的图片都下载下来。接下来,就开始我们的Scrapy之旅啦~~

  首先我们新建一个Scrapy项目,叫做doubanMovie.

该项目的文件树形结构如下:

文件树形结构

  修改items.py如下:

这是我们用来存放图片的url和name的部分。

接着,在spiders文件夹下,新建爬虫(Spider)文件:doubanMovieSpider.py, 文件代码如下:

该部分代码主要利用xpath来提出网页中的电影图片的url和name,并添加到item中。

  为了能够对下载后的图片进行重命名,我们需要修改pipeline.py文件,代码如下:

在这儿我们添加了MyImagesPipeline类,主要目的是用来对下载后的图片进行重命名。

  最后一步,也是关键的一步,就是修改settings.py文件,将其中的ROBOTSTXT_OBEY设置为False, 这是为了防止爬虫被禁,并且添加以下代码:

在上面的代码中,我们设置了USER_AGENT, 这是为了在Linux系统中模拟浏览器的设置,读者可以根据自己的系统和浏览器来设置不同的USER_AGENT. 同时, 我们又加了ITEM_PIPELINES管道和图片的保存路径。

  一切就绪,我们就可以运行爬虫啦。切换到spiders文件夹下,输入scrapy list可以查看爬虫的名字,输入scrapy crawl movie即可运行爬虫。

查看和运行爬虫

  movie爬虫的运行结果如下:

爬虫运行结果

该爬虫下载了250个文件,用时约13秒,效率惊人啊!

  下载后的图片保存在当前文件夹(spiders)下的full文件夹下,我们来看一下里面的内容:

下载图片

  Surprise!Wonderful! 里面有没有你喜欢的电影呢?

  本项目的Github地址为 https://github.com/percent4/doubanMovieSpider, 欢迎大家访问哦~~

  • 发表于:
  • 原文链接https://kuaibao.qq.com/s/20180610G0JBP700?refer=cp_1026
  • 腾讯「腾讯云开发者社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。
  • 如有侵权,请联系 cloudcommunity@tencent.com 删除。

扫码关注云+社区

领取腾讯云代金券