专栏:016:功能强大的“图片下载器”

用理工科思维看待这个世界

系列爬虫专栏

初学者,尽力实现最小化学习系统

如何实现项目图片的下载


0:学习理念

  • 推荐阅读 简书:学习方法论 我觉得对我有帮助,多问自己为什么从来不是什么坏毛病。
  • 学习理念

作为初学者,独自在摸索中的过程中,往往会遇到各种各样的问题, 第一遍的学习往往就算呈现的是正确答案,往往也不能全部理解,这歌层次需要知道:是什么?; 第二遍的学习需要知道:怎么做?; 第三遍的学习需要知道:如何实现已知的?; 第四步的学习需要知道:如何实现自己的?。


实现了自己的这步是实现最小可行性系统的关键,但往往容易陷入误区,错把最后一步的操作当做完全正确的答案,为避免陷入误区,应该在实现了最小可行性系统上,再次查阅最接近正确答案的文档,尤其是自学的过程中,推荐阅读官方文档


写不明白,差不多也就没学明白; 写的自己明白,差不多只学到了7成; 写的别人都能明白,差不多学到了9成; 剩下的是知识盲区。需要持续不断的精进。

  • 学习动机 某动漫爱好者知道我会爬虫,想要我给写个程序抓取某网站图片。当然我不可能错过这个装X的机会。所以就使用多线程实现了网页图片链接的下载,总共6万个左右。存在很大的bug,时间紧,就草草结束。后来回过头想要使用Scrapy框架实现,于是有了你看到的这篇文章。

1:原理分解

使用Scrapy的ImagePipeline类提供的一种方便的方式来下载和存储图片,需要PIL库的支持,图片管道,在 ImagesPipeline 类中实现,提供了一个方便并具有额外特性的方法,来下载并本地存储图片:

  • 主要特征:(可以实现对图片进行怎样的操作)
    • 转换格式
    • 避免重复下载
    • 缩略图下载
    • 指定过滤大小的图片
  • 工作流程:(ImagesPipeline类是如何实现图片下载的)
    • Scrapy 爬取的大致步骤是:items.py 设置抓取目标;Spiders/ 实现抓取的代码;pipelines.py 实现对抓取内容的处理
    • 爬取一个Item , 将图片的链接放入image_urls字段
    • 从Spider 返回的Item,传递到Item pipeline
    • 当Item传递到ImagePipeline,将调用Scrapy 调度器和下载器完成image_urls中的url的调度和下载。ImagePipeline会自动高优先级抓取这些url,于此同时,item会被锁定直到图片抓取完毕才被解锁。
    • 图片下载成功结束后,图片下载路径、url和校验和等信息会被填充到images字段中。

如图示:下载成功界面显示:

001.png

最终效果:

002.png


2:实际操演

  • 目标网站 是它,是它,就是它 网站采用了异步加载,那就抓取一页先好了,具体的异步加载处理以后写
  • 图片url的xpath:首页存在30张图片 //div[@class="photo-item"]//img/@src

003.png

  • items.py文件: 定义Item
class ImagesItem(scrapy.Item):
    # define the fields for your item here like:
    # name = scrapy.Field()
    image_urls = scrapy.Field()
    images = scrapy.Field()
    image_paths = scrapy.Field()
    pass
  • spider/image_spider.py文件:爬取规则
# -*- coding:utf-8 -*-
from scrapy.spiders import CrawlSpider,Rule
from images.items import ImagesItem
from scrapy.selector import Selector

class Download(CrawlSpider):
    name = "image"
    allowed_domains = ["https://stocksnap.io/"]
    start_urls = ["https://stocksnap.io/",]

    def parse(self, response):
        print(response)
        hxs = Selector(response)
        imgs = hxs.xpath('//div[@class="photo-item"]//img/@src').extract()
        item = ImagesItem()
        item['image_urls']=imgs
        return item
  • 设置settings.py 可以设置:
    • 开启图片管道: ITEM_PIPELINES = {'scrapy.contrib.pipeline.images.ImagesPipeline': 1}
    • 存储路径:IMAGES_STORE = '/path/to/valid/dir'
    • 还可以设置一些图片失效:IMAGES_EXPIRES = 90;缩略图生成:需要设置 IMAGES_THUMBS 字典,这时会创建缩略图格式的文件夹<IMAGES_STORE>/thumbs/<size_name>/<image_id>.jpg; 设置过滤小图片IMAGES_MIN_HEIGHT,IMAGES_MIN_WIDTH
ITEM_PIPELINES = {'scrapy.contrib.pipeline.images.ImagesPipeline': 1} # 开启图片管道
IMAGES_STORE=r"C:\Users\Wuxiaoshen\Desktop\history\tupian"# 存储路径
IMAGES_EXPIRES = 90 # 图片失效日期
  • 实现定制图片管道 主要处理的是:ImagePipeline类下的get_media_requests(item, info)item_completed(results, items, info)方法

正如工作流程所示,Pipeline将从item中获取图片的URLs并下载它们, 所以必须重载get_media_requests,并返回一个Request对象, 这些请求对象将被Pipeline处理,当完成下载后, 结果将发送到item_completed方法, 这些结果为一个二元组的list, 每个元祖的包含(success, image_info_or_failure)success: boolean值,true表示成功下载 image_info_or_error:如果success=trueimage_info_or_error词典包含以下键值对url:原始URL path:本地存储路径 checksum:校验码。失败则包含一些出错信息。

from scrapy.contrib.pipeline.images import ImagesPipeline
from scrapy.exceptions import DropItem
from scrapy.http import Request

class ImagesPipeline(ImagesPipeline):
    def get_media_requests(self, item, info):
        for image_url in item['image_urls']:
            yield Request(image_url)


    def item_completed(self, results, item, info):
        image_paths = [x['path'] for ok, x in results if ok]
        if not image_paths:
            raise DropItem("Item contains no images")
        item['image_paths'] = image_paths
        return item

运行效果:

004.png

本地图片显示:存储在本地设置的路径下full文件下,图片的名字使用图片url的SHA1 hash(这样的值很少会重复,所以可以实现重复判断,数据库中的去重操作的主键也常使用消息摘要算法) 示例:图片的url = https://snap-photos.s3.amazonaws.com/img-thumbs/280h/07EK7KIUOV.jpg 网站显示

import hashlib
print(hashlib.sha1(b"https://snap-photos.s3.amazonaws.com/img-thumbs/280h/07EK7KIUOV.jpg").hexdigest())
# 显示:'1c42553dbeb111970e504d07f8fdc0597de4c9ee'

图片显示:

006.png

全部图片:

005.png

完整版代码


3:总结与参考

第一次接触,就算是正确答案,你也不能完全的明白,所以参考文献的多次重复可以让你渐渐的明白原理和操作

任何实用性的东西都解决不了你所面临的实际问题,但为什么还要看?为了经验,为了通过阅读抓取别人的经验,虽然还需批判思维看待

如果你忍不住的想要和我交朋友:email: 1156143589@qq.com

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏WeTest质量开放平台团队的专栏

Android性能优化典范(1)

2015年伊始,Google发布了关于Android性能优化典范的专题,一共16个短视频,每个3-5分钟,帮助开发者创建更快更优秀的Android App。课程...

1202
来自专栏我有一个梦想

游戏开发之UE4添加角色到场景中

接着上次继续学习,现在我们已经有了一个场景并且运行了,我们需要添加一个角色到场景中。要这样做,我们必须从UE4的GameFramework类继承它。 一. 创建...

3695
来自专栏云计算教程系列

如何在Ubuntu上安装Neo4J

图表是由边连接的一组顶点。在数据库领域,图形是一组项目,每个项目与数据集中的另一个项目具有任何类型的关系。

2072
来自专栏DeveWork

【译】WordPress 中的50个过滤器(4):第21-30个过滤器

本文为系列第四篇,原文:50 Filters of WordPress: Filters 21-30 原文地址 在过去的两篇文章中,我们总共介绍了20个Word...

1959
来自专栏代码GG之家

google 分屏 横屏模式 按home键界面错乱故障分析(一)

你确定你了解分屏的整个流程? ? 之前分析文章列表: Android 关机对话框概率没有阴影故障分析 android recent key长按事件弹起触发最近列...

2358
来自专栏吉浦迅科技

DAY 75:阅读Configuration Options

我们正带领大家开始阅读英文的《CUDA C Programming Guide》,今天是第75天,我们正在讲解CUDA 动态并行,希望在接下来的25天里,您可以...

1332
来自专栏开源FPGA

基于FPGA的4x4矩阵键盘驱动调试

       好久不见,因为博主最近两个月有点事情,加上接着考试,考完试也有点事情要处理,最近才稍微闲了一些,这才赶紧记录分享一篇博文。FPGA驱动4x4矩阵键...

1882
来自专栏小白安全

危险漫步利用图片链接完成注入渗透

利用图片链接完成注入渗透 最近危险漫步闲着无聊就翻墙去国外看了一看黑客新闻,有一条新闻引起了我的关注,那就是国外某黑客黑了Word文档,导致了一家公司...

3127
来自专栏FreeBuf

跟我学姿势:极客教你如何科学的看电影

俗话说自己动手丰衣足食,小米盒子之类的弱爆了,极客看片自然有极客的做法!相信看完本篇狠涨姿势的文章,你就可以像我一样吃着火锅唱着歌,喝着饮料吃着爆米花,用树莓派...

2495
来自专栏JavaEdge

JDK7新特性概览JSR292:支持动态类型语言(InvokeDynamic)G1 垃圾回收器(Garbage-First Collector)JSR334:小的语言改进(Project Coin)核

73910

扫码关注云+社区

领取腾讯云代金券