专栏首页数据结构笔记scrapy爬虫框架(三):爬取壁纸保存并命名

scrapy爬虫框架(三):爬取壁纸保存并命名

写在开始之前

按照上一篇介绍过的 scrapy爬虫的创建顺序,我们开始爬取壁纸的爬虫的创建。

首先,我们先过一遍 scrapy爬虫的创建顺序:

  • 第一步:确定要在pipelines里进行处理的数据,写好items文件
  • 第二步:创建爬虫文件,将所需要的信息从网站上爬取下来,并传递给pipelines文件处理
  • 第三步:pipelines接收spiders传递过来的数据,并做出相应的处理,如:壁纸的下载和保存
  • 第四步:一定要记得在settings开启pipelines

在开始之前,我们先按照上面的步骤来分析一下代码怎么写:

  1. 第一步:确定我们要爬取的网站,在百度上随便找一个, zolhttp://desk.zol.com.cn/dongman/1920x1080/, 这是zol的动漫板块,自己练手的话可以另外找一个。
  2. 第二步:确定items,我们要下载壁纸并且按照网站上的名字进行命名。 下载壁纸需要获取壁纸的链接 image_url,命名需要壁纸的名字 image_name
  3. 第三步:编写spiders的代码从网页中获取我们image_url和image_name
  4. 第四步:下载图片并命名保存
  5. 第五步:到settings里开启pipelines

下面正式开始敲代码<( ̄︶ ̄)↗[GO!]

一、创建scrapy爬虫项目

打开命令行,依次输入如下命令:

#创建scrapy爬虫项目
scrapy startproject bizhi_zol
#打开新创建的爬虫项目
cd bizhi_zol
#在项目里创建spiders,domain为desk.zol.com.cn
scrapy genspider zol "desk.zol.com.cn"

二、items.py

项目创建完成后,我们按照上面的顺序,先写items

# -*- coding: utf-8 -*-
#items.py

# Define here the models for your scraped items
#
# See documentation in:
# https://doc.scrapy.org/en/latest/topics/items.html

import scrapy

class BizhiZolItem(scrapy.Item):
    # define the fields for your item here like:
    # name = scrapy.Field()
    image_url = scrapy.Field()
    image_name = scrapy.Field()

三、spiders

这一步可以说是整个爬虫里最重要的一步了

首先我们先分析网页结构,打开网址:http://desk.zol.com.cn/dongman/1920x1080/

查看元素后发现壁纸链接全在ul标签下

xpath路径如下:

#注意!!!
#pic-list2(两个空格)clearfix
//ul[@class="pic-list2  clearfix"]/li/a

通过xpath我们得到的是壁纸下载页面的链接

再通过链接获取壁纸下载页面,再在下载页面内获得壁纸链接和名字

细节不再赘述,xpath路径如下:

#内容详情页 获取壁纸名字
//a[@id="titleName"]/text()
#内容详情页 获取壁纸下载页面
#//dd[@id="tagfbl"]/a[@id="1920x1200"]/@href
//dd[@id="tagfbl"]/a[1]/@href

#壁纸下载页 获取壁纸下载链接
//body/img[1]/@src

spiders代码如下:

# -*- coding: utf-8 -*-
#zol.py

import scrapy
from bizhi_zol.items import BizhiZolItem

class ZolSpider(scrapy.Spider):
    name = 'zol'
    #allowed_domains = ['desk.zol.com.cn']
    start_urls = ['http://desk.zol.com.cn/dongman/1920x1080/']

    #主站链接 用来拼接网址
    base_site = 'http://desk.zol.com.cn'

    def parse(self, response):
        #获取内容详情页链接
        load_page_urls = response.xpath('//ul[@class="pic-list2  clearfix"]/li/a/@href').extract()

        for load_page_url in load_page_urls:
            url = self.base_site + load_page_url
            #获取内容详情页页面 交给getInfo处理
            print(url)
            yield scrapy.Request(url, callback=self.getInfo)

    def getInfo(self, response):
        #定义item储存信息
        item = BizhiZolItem()
        #获取壁纸名字
        item['image_name'] = response.xpath('//a[@id="titleName"]/text()').extract()[0]
        print(item['image_name'])

        #获取壁纸下载页面链接
        #load_page = self.base_site + response.xpath('//dd[@id="tagfbl"]/a[@id="1920x1200"]/@href').extract()[0]
        #测试时发现并不是所有的壁纸都有1920x1200的分辨率,所以将代码修改如下,获得壁纸最大分辨率的链接
        load_page = self.base_site + response.xpath('//dd[@id="tagfbl"]/a[1]/@href').extract()[0]

        #获取壁纸下载页面 并将item作为参数传递给getLoadUrl
        request = scrapy.Request(load_page, callback=self.getLoadUrl)
        request.meta['item'] = item

        yield request

    def getLoadUrl(self, response):
        #接收参数
        item = response.meta['item']

        #获取壁纸下载链接
        item['image_url'] = response.xpath('//body/img[1]/@src').extract()[0]

        #将item传递给pipelines处理
        yield item

四、pipelines.py

我们已经通过 spiders获得了图片的名字和链接,接下来我们只要下载图片然后再命名保存即可。

下载图片和之前的下载小说不同,这里要用到 ImagesPipeline中的 get_media_requests 方法来进行下载。

这里简单介绍一下get_media_requests方法:

选中get_media_requests然后转到定义,可以看到get_media_requests方法的原型为:

def get_media_requests(self, item, info):
        return [Request(x) for x in item.get(self.images_urls_field, [])]

可以看到get_media_requests有三个参数,

第一个是self,这个不必多说;

第二个是 item,这个就是 spiders传递过来的 item

第三个是 info,看名字就知道这是用来保存信息的,至于是什么信息,info其实是一个用来保存保存图片的名字和下载链接的列表

但是我们想要重命名的话必须得有图片的路径,这时候就需要 item_completed方法了,原型如下:

def item_completed(self, results, item, info):
        if isinstance(item, dict) or self.images_result_field in item.fields:
            item[self.images_result_field] = [x for ok, x in results if ok]
        return item

注意到 item_completed里有个 results参数,results参数保存了图片下载的相关信息,我们将它打印出来看看:

[(True, {'url': 'https://desk-fd.zol-img.com.cn/t_s1920x1200c5/g5/M00/01/04/ChMkJ1q2H1-IDTMjAAT0D9iUubUAAm_uwJN1eoABPQn240.jpg', 'path': 'full/fedfedc2f28c22996af50ff8d4759e7031950517.jpg', 'checksum': '06bde14f40a64c288bd251ebbe17bc1e'})]

了解了这些后,问题就简单了。

我们只需要在 get_media_requestsscrapy.Request() 发起请求,然后 scrapy会自动将图片下载并保存。

当图片下载完成之后,我们再对图片重命名即可。

代码如下:

# -*- coding: utf-8 -*-
#pipelines.py

# Define your item pipelines here
#
# Don't forget to add your pipeline to the ITEM_PIPELINES setting
# See: https://doc.scrapy.org/en/latest/topics/item-pipeline.html

from scrapy.pipelines.images import ImagesPipeline
from bizhi_zol.settings import IMAGES_STORE as image_store
import scrapy
import os


class BizhiZolPipeline(ImagesPipeline):
    def get_media_requests(self, item, info):
        #发起壁纸下载请求
        yield scrapy.Request(item['image_url'])

    def item_completed(self, results, item, info):
        #对壁纸进行重命名
        os.rename(image_store + '/' + results[0][1]['path'], image_store + '/' + item['image_name'] + '.jpg')

    def __del__(self):
        #完成后删除full目录
        os.removedirs(image_store + '/' + 'full')

五、settings.py

这里 settings文件需要注意的是,要添加一个 IMAGES_STORE变量来设置图片下载的目录,其他的设置不再多说,贴上代码:

#settings.py

BOT_NAME = 'bizhi_zol'

SPIDER_MODULES = ['bizhi_zol.spiders']
NEWSPIDER_MODULE = 'bizhi_zol.spiders'

IMAGES_STORE = './IMAGE'

# Crawl responsibly by identifying yourself (and your website) on the user-agent
USER_AGENT = 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.181 Safari/537.36'

# Obey robots.txt rules
ROBOTSTXT_OBEY = False

# Configure item pipelines
# See https://doc.scrapy.org/en/latest/topics/item-pipeline.html
ITEM_PIPELINES = {
   'bizhi_zol.pipelines.BizhiZolPipeline': 300,
}

写到这里整个爬虫程序就完成了,不过这个爬虫程序只能爬取一页的壁纸,不能够自动翻页。

要实现自动翻页,就留给读者自己动脑筋了

ps: 自动翻页很简单,只需在原来代码的基础上增加几行代码就可以了

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 前端:CSS选择器优先级计算

    在优先级相同的情况下,后出现的优先级比先出现的优先级更高,可以理解为后出现的覆盖先出现的。

    渔父歌
  • 利用简书图片上传功能搭建快速免费的图床

    后来发现简书的写文章页面可以上传图片,于是萌生了利用简书的图片上传功能来搭建一个图床的想法。

    渔父歌
  • PyQt实现loading遮罩层

    优点: 1、完美覆盖整个窗口,阻止点击事件 2、不会阻塞窗口 3、窗口拖动时自动跟随 4、可以使用 gif动图,也可以使用文字 5、使用简单,开包即用

    渔父歌
  • C#核编之内建数据类型

    这个随笔中的重点之一是说明:C#中所提供的关键字都是相应系统类型的简化符号(如int是System.Int32类型的简化符号) 一、内建数据类型与层级结构 所有...

    郑小超.
  • 《挑战30天C++入门极限》C/C++中字符指针数组及指向指针的指针的含义

      函数存放在内存的代码区域内,它们同样有地址,我们如何能获得函数的地址呢?   如果我们有一个int test(int a)的函数,那么,它的地址就...

    landv
  • 应急响应系统之 Linux 主机安全检查

    我们在做主机安全检查或安全事件处置时,避免不了要去检查系统的安全情况。在进行 Linux 安全检查时,需要使用相关的脚本对系统的安全情况进行全面分析,一方面需要...

    信安之路
  • tensorflow学习笔记(四十五):sess.run(tf.global_variables_initializer()) 做了什么?

    当我们训练自己的神经网络的时候,无一例外的就是都会加上一句 sess.run(tf.global_variables_initializer()) ,这行代码的...

    ke1th
  • 群组复制MySQL Group Replication

    在通常的IT环境下,如果需要保证系统连续不断的运行,需要创建一个容错系统。最常见方法是使用冗余的组件,即使是部分组件出现故障,系统也能够继续按预期运行。基于这种...

    MySQLSE
  • ruby学习笔记(11)--symbol与hash参数

    symbol是啥就不深入的讨论了,只简单说说symbol的好处 ruby内部对于每个对象,都会有一个数字id用来标识并区分,可以用xxx.object_id来查...

    菩提树下的杨过
  • xargs 参数

    hadoop fs -ls /source/recommend/at_access | awk -F "/" '{print $NF}' | grep -v $...

    sanmutongzi

扫码关注云+社区

领取腾讯云代金券