专栏：016：功能强大的“图片下载器”

谢伟

发布于 2018-06-06 11:51:10

5900

发布于 2018-06-06 11:51:10

文章被收录于专栏：GopherCoderGopherCoder

用理工科思维看待这个世界
系列爬虫专栏
初学者，尽力实现最小化学习系统

如何实现项目图片的下载

0：学习理念

推荐阅读简书：学习方法论我觉得对我有帮助，多问自己为什么从来不是什么坏毛病。
学习理念

作为初学者，独自在摸索中的过程中，往往会遇到各种各样的问题， 第一遍的学习往往就算呈现的是正确答案，往往也不能全部理解，这歌层次需要知道：是什么？； 第二遍的学习需要知道：怎么做？； 第三遍的学习需要知道：如何实现已知的？； 第四步的学习需要知道：如何实现自己的？。

实现了自己的这步是实现最小可行性系统的关键，但往往容易陷入误区，错把最后一步的操作当做完全正确的答案，为避免陷入误区，应该在实现了最小可行性系统上，再次查阅最接近正确答案的文档，尤其是自学的过程中，推荐阅读官方文档

写不明白，差不多也就没学明白；写的自己明白，差不多只学到了7成；写的别人都能明白，差不多学到了9成；剩下的是知识盲区。需要持续不断的精进。

学习动机某动漫爱好者知道我会爬虫，想要我给写个程序抓取某网站图片。当然我不可能错过这个装X的机会。所以就使用多线程实现了网页图片链接的下载，总共6万个左右。存在很大的bug，时间紧，就草草结束。后来回过头想要使用Scrapy框架实现，于是有了你看到的这篇文章。

1：原理分解

使用Scrapy的ImagePipeline类提供的一种方便的方式来下载和存储图片，需要PIL库的支持，图片管道，在 ImagesPipeline 类中实现，提供了一个方便并具有额外特性的方法，来下载并本地存储图片:

主要特征：(可以实现对图片进行怎样的操作)
- 转换格式
- 避免重复下载
- 缩略图下载
- 指定过滤大小的图片
工作流程：(ImagesPipeline类是如何实现图片下载的)
- Scrapy 爬取的大致步骤是：items.py 设置抓取目标；Spiders/ 实现抓取的代码；pipelines.py 实现对抓取内容的处理
- 爬取一个Item , 将图片的链接放入image_urls字段
- 从Spider 返回的Item，传递到Item pipeline
- 当Item传递到ImagePipeline，将调用Scrapy 调度器和下载器完成image_urls中的url的调度和下载。ImagePipeline会自动高优先级抓取这些url，于此同时，item会被锁定直到图片抓取完毕才被解锁。
- 图片下载成功结束后，图片下载路径、url和校验和等信息会被填充到images字段中。

如图示：下载成功界面显示：

001.png

最终效果：

002.png

2：实际操演

目标网站是它，是它，就是它网站采用了异步加载，那就抓取一页先好了，具体的异步加载处理以后写
图片url的xpath：首页存在30张图片 //div[@class="photo-item"]//img/@src

003.png

items.py文件: 定义Item

class ImagesItem(scrapy.Item):
    # define the fields for your item here like:
    # name = scrapy.Field()
    image_urls = scrapy.Field()
    images = scrapy.Field()
    image_paths = scrapy.Field()
    pass

spider/image_spider.py文件：爬取规则

# -*- coding:utf-8 -*-
from scrapy.spiders import CrawlSpider,Rule
from images.items import ImagesItem
from scrapy.selector import Selector

class Download(CrawlSpider):
    name = "image"
    allowed_domains = ["https://stocksnap.io/"]
    start_urls = ["https://stocksnap.io/",]

    def parse(self, response):
        print(response)
        hxs = Selector(response)
        imgs = hxs.xpath('//div[@class="photo-item"]//img/@src').extract()
        item = ImagesItem()
        item['image_urls']=imgs
        return item

设置settings.py 可以设置：
- 开启图片管道： ITEM_PIPELINES = {'scrapy.contrib.pipeline.images.ImagesPipeline': 1}
- 存储路径：IMAGES_STORE = '/path/to/valid/dir'
- 还可以设置一些图片失效：IMAGES_EXPIRES = 90；缩略图生成：需要设置 IMAGES_THUMBS 字典,这时会创建缩略图格式的文件夹<IMAGES_STORE>/thumbs/<size_name>/<image_id>.jpg; 设置过滤小图片IMAGES_MIN_HEIGHT,IMAGES_MIN_WIDTH

ITEM_PIPELINES = {'scrapy.contrib.pipeline.images.ImagesPipeline': 1} # 开启图片管道
IMAGES_STORE=r"C:\Users\Wuxiaoshen\Desktop\history\tupian"# 存储路径
IMAGES_EXPIRES = 90 # 图片失效日期

实现定制图片管道主要处理的是：ImagePipeline类下的get_media_requests(item, info) 和item_completed(results, items, info)方法

“

正如工作流程所示，Pipeline将从item中获取图片的URLs并下载它们，所以必须重载get_media_requests，并返回一个Request对象，这些请求对象将被Pipeline处理，当完成下载后，结果将发送到item_completed方法，这些结果为一个二元组的list，每个元祖的包含(success, image_info_or_failure)。 success: boolean值，true表示成功下载 image_info_or_error：如果success=true，image_info_or_error词典包含以下键值对url：原始URL path：本地存储路径 checksum：校验码。失败则包含一些出错信息。

”

from scrapy.contrib.pipeline.images import ImagesPipeline
from scrapy.exceptions import DropItem
from scrapy.http import Request

class ImagesPipeline(ImagesPipeline):
    def get_media_requests(self, item, info):
        for image_url in item['image_urls']:
            yield Request(image_url)


    def item_completed(self, results, item, info):
        image_paths = [x['path'] for ok, x in results if ok]
        if not image_paths:
            raise DropItem("Item contains no images")
        item['image_paths'] = image_paths
        return item

运行效果：

004.png

本地图片显示：存储在本地设置的路径下full文件下，图片的名字使用图片url的SHA1 hash(这样的值很少会重复，所以可以实现重复判断，数据库中的去重操作的主键也常使用消息摘要算法) 示例：图片的url = https://snap-photos.s3.amazonaws.com/img-thumbs/280h/07EK7KIUOV.jpg 网站显示

import hashlib
print(hashlib.sha1(b"https://snap-photos.s3.amazonaws.com/img-thumbs/280h/07EK7KIUOV.jpg").hexdigest())
# 显示：'1c42553dbeb111970e504d07f8fdc0597de4c9ee'

图片显示：