scrapy爬虫框架（三）：爬取壁纸保存并命名

渔父歌

发布于 2018-09-26 18:42:47

5190

发布于 2018-09-26 18:42:47

文章被收录于专栏：数据结构笔记数据结构笔记数据结构笔记

写在开始之前

按照上一篇介绍过的 scrapy爬虫的创建顺序，我们开始爬取壁纸的爬虫的创建。

首先，我们先过一遍 scrapy爬虫的创建顺序：

第一步：确定要在pipelines里进行处理的数据，写好items文件
第二步：创建爬虫文件，将所需要的信息从网站上爬取下来，并传递给pipelines文件处理
第三步：pipelines接收spiders传递过来的数据，并做出相应的处理，如：壁纸的下载和保存
第四步：一定要记得在settings开启pipelines

在开始之前，我们先按照上面的步骤来分析一下代码怎么写：

第一步：确定我们要爬取的网站，在百度上随便找一个， zol：http://desk.zol.com.cn/dongman/1920x1080/，这是zol的动漫板块，自己练手的话可以另外找一个。
第二步：确定items，我们要下载壁纸并且按照网站上的名字进行命名。下载壁纸需要获取壁纸的链接 image_url，命名需要壁纸的名字 image_name
第三步：编写spiders的代码从网页中获取我们image_url和image_name
第四步：下载图片并命名保存
第五步：到settings里开启pipelines

下面正式开始敲代码<(￣︶￣)↗[GO!]

一、创建scrapy爬虫项目

打开命令行，依次输入如下命令：

#创建scrapy爬虫项目
scrapy startproject bizhi_zol
#打开新创建的爬虫项目
cd bizhi_zol
#在项目里创建spiders，domain为desk.zol.com.cn
scrapy genspider zol "desk.zol.com.cn"

二、items.py

项目创建完成后，我们按照上面的顺序，先写items

# -*- coding: utf-8 -*-
#items.py

# Define here the models for your scraped items
#
# See documentation in:
# https://doc.scrapy.org/en/latest/topics/items.html

import scrapy

class BizhiZolItem(scrapy.Item):
    # define the fields for your item here like:
    # name = scrapy.Field()
    image_url = scrapy.Field()
    image_name = scrapy.Field()

三、spiders

这一步可以说是整个爬虫里最重要的一步了

首先我们先分析网页结构，打开网址：http://desk.zol.com.cn/dongman/1920x1080/

查看元素后发现壁纸链接全在ul标签下

xpath路径如下：

#注意！！！
#pic-list2（两个空格）clearfix
//ul[@class="pic-list2  clearfix"]/li/a

通过xpath我们得到的是壁纸下载页面的链接

再通过链接获取壁纸下载页面，再在下载页面内获得壁纸链接和名字

细节不再赘述，xpath路径如下：

#内容详情页 获取壁纸名字
//a[@id="titleName"]/text()
#内容详情页 获取壁纸下载页面
#//dd[@id="tagfbl"]/a[@id="1920x1200"]/@href
//dd[@id="tagfbl"]/a[1]/@href

#壁纸下载页 获取壁纸下载链接
//body/img[1]/@src

spiders代码如下：

# -*- coding: utf-8 -*-
#zol.py

import scrapy
from bizhi_zol.items import BizhiZolItem

class ZolSpider(scrapy.Spider):
    name = 'zol'
    #allowed_domains = ['desk.zol.com.cn']
    start_urls = ['http://desk.zol.com.cn/dongman/1920x1080/']

    #主站链接 用来拼接网址
    base_site = 'http://desk.zol.com.cn'

    def parse(self, response):
        #获取内容详情页链接
        load_page_urls = response.xpath('//ul[@class="pic-list2  clearfix"]/li/a/@href').extract()

        for load_page_url in load_page_urls:
            url = self.base_site + load_page_url
            #获取内容详情页页面 交给getInfo处理
            print(url)
            yield scrapy.Request(url, callback=self.getInfo)

    def getInfo(self, response):
        #定义item储存信息
        item = BizhiZolItem()
        #获取壁纸名字
        item['image_name'] = response.xpath('//a[@id="titleName"]/text()').extract()[0]
        print(item['image_name'])

        #获取壁纸下载页面链接
        #load_page = self.base_site + response.xpath('//dd[@id="tagfbl"]/a[@id="1920x1200"]/@href').extract()[0]
        #测试时发现并不是所有的壁纸都有1920x1200的分辨率，所以将代码修改如下，获得壁纸最大分辨率的链接
        load_page = self.base_site + response.xpath('//dd[@id="tagfbl"]/a[1]/@href').extract()[0]

        #获取壁纸下载页面 并将item作为参数传递给getLoadUrl
        request = scrapy.Request(load_page, callback=self.getLoadUrl)
        request.meta['item'] = item

        yield request

    def getLoadUrl(self, response):
        #接收参数
        item = response.meta['item']

        #获取壁纸下载链接
        item['image_url'] = response.xpath('//body/img[1]/@src').extract()[0]

        #将item传递给pipelines处理
        yield item

四、pipelines.py

我们已经通过 spiders获得了图片的名字和链接，接下来我们只要下载图片然后再命名保存即可。

下载图片和之前的下载小说不同，这里要用到 ImagesPipeline中的 get_media_requests 方法来进行下载。

这里简单介绍一下get_media_requests方法：

选中get_media_requests然后转到定义，可以看到get_media_requests方法的原型为：

def get_media_requests(self, item, info):
        return [Request(x) for x in item.get(self.images_urls_field, [])]

可以看到get_media_requests有三个参数，

第一个是self，这个不必多说；

第二个是 item，这个就是 spiders传递过来的 item

第三个是 info，看名字就知道这是用来保存信息的，至于是什么信息，info其实是一个用来保存保存图片的名字和下载链接的列表

但是我们想要重命名的话必须得有图片的路径，这时候就需要 item_completed方法了，原型如下：

def item_completed(self, results, item, info):
        if isinstance(item, dict) or self.images_result_field in item.fields:
            item[self.images_result_field] = [x for ok, x in results if ok]
        return item

注意到 item_completed里有个 results参数，results参数保存了图片下载的相关信息，我们将它打印出来看看：

[(True, {'url': 'https://desk-fd.zol-img.com.cn/t_s1920x1200c5/g5/M00/01/04/ChMkJ1q2H1-IDTMjAAT0D9iUubUAAm_uwJN1eoABPQn240.jpg', 'path': 'full/fedfedc2f28c22996af50ff8d4759e7031950517.jpg', 'checksum': '06bde14f40a64c288bd251ebbe17bc1e'})]

了解了这些后，问题就简单了。

我们只需要在 get_media_requests 中 scrapy.Request() 发起请求，然后 scrapy会自动将图片下载并保存。

当图片下载完成之后，我们再对图片重命名即可。

代码如下:

# -*- coding: utf-8 -*-
#pipelines.py

# Define your item pipelines here
#
# Don't forget to add your pipeline to the ITEM_PIPELINES setting
# See: https://doc.scrapy.org/en/latest/topics/item-pipeline.html

from scrapy.pipelines.images import ImagesPipeline
from bizhi_zol.settings import IMAGES_STORE as image_store
import scrapy
import os


class BizhiZolPipeline(ImagesPipeline):
    def get_media_requests(self, item, info):
        #发起壁纸下载请求
        yield scrapy.Request(item['image_url'])

    def item_completed(self, results, item, info):
        #对壁纸进行重命名
        os.rename(image_store + '/' + results[0][1]['path'], image_store + '/' + item['image_name'] + '.jpg')

    def __del__(self):
        #完成后删除full目录
        os.removedirs(image_store + '/' + 'full')

五、settings.py

这里 settings文件需要注意的是，要添加一个 IMAGES_STORE变量来设置图片下载的目录，其他的设置不再多说，贴上代码：

#settings.py

BOT_NAME = 'bizhi_zol'

SPIDER_MODULES = ['bizhi_zol.spiders']
NEWSPIDER_MODULE = 'bizhi_zol.spiders'

IMAGES_STORE = './IMAGE'

# Crawl responsibly by identifying yourself (and your website) on the user-agent
USER_AGENT = 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.181 Safari/537.36'

# Obey robots.txt rules
ROBOTSTXT_OBEY = False

# Configure item pipelines
# See https://doc.scrapy.org/en/latest/topics/item-pipeline.html
ITEM_PIPELINES = {
   'bizhi_zol.pipelines.BizhiZolPipeline': 300,
}

写到这里整个爬虫程序就完成了，不过这个爬虫程序只能爬取一页的壁纸，不能够自动翻页。

要实现自动翻页，就留给读者自己动脑筋了

ps: 自动翻页很简单，只需在原来代码的基础上增加几行代码就可以了

本文参与腾讯云自媒体分享计划，分享自作者个人站点/博客。

原始发表：2018.08.23 ，如有侵权请联系 cloudcommunity@tencent.com 删除

scrapy