Python之多线程爬虫抓取网页图片

目标

嗯,我们知道搜索或浏览网站时会有很多精美、漂亮的图片。

我们下载的时候,得鼠标一个个下载,而且还翻页。

那么,有没有一种方法,可以使用非人工方式自动识别并下载图片。美美哒。

那么请使用python语言,构建一个抓取和下载网页图片的爬虫。

当然为了提高效率,我们同时采用多线程并行方式。

思路分析

Python有很多的第三方库,可以帮助我们实现各种各样的功能。问题在于,我们弄清楚我们需要什么:

1)http请求库,根据网站地址可以获取网页源代码。甚至可以下载图片写入磁盘。

2)解析网页源代码,识别图片连接地址。比如正则表达式,或者简易的第三方库。

3)支持构建多线程或线程池。

4)如果可能,需要伪造成浏览器,或绕过网站校验。(嗯,网站有可能会防着爬虫 ;-))

5)如果可能,也需要自动创建目录,随机数、日期时间等相关内容。

如此,我们开始搞事情。O(∩_∩)O~

环境配置

操作系统:windows 或 linux 皆可

Python版本:Python3.6 ( not Python 2.x 哦)

第三方库

urllib.request

threading 或者 concurrent.futures 多线程或线程池(python3.2+)

re 正则表达式内置模块

os 操作系统内置模块

编码过程

我们分解一下过程。完整源代码在博文最终提供。

伪装为浏览器

import urllib.request

# ------ 伪装为浏览器 ---
def makeOpener(head={
    'Connection': 'Keep-Alive',
    'Accept': 'text/html, application/xhtml+xml, */*',
    'Accept-Language': 'zh-CN,zh;q=0.8,zh-TW;q=0.7,zh-HK;q=0.5,en-US;q=0.3,en;q=0.2',
    'Connection': 'keep-alive',
    'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64; rv:57.0) Gecko/20100101 Firefox/57.0'
    }):
    cj = http.cookiejar.CookieJar()
    opener = urllib.request.build_opener(urllib.request.HTTPCookieProcessor(cj))
    header = []
    for key, value in head.items():
        elem = (key, value)
        header.append(elem)
    opener.addheaders = header
    return opener

获取网页源代码

# ------ 获取网页源代码 ---
# url 网页链接地址
def getHtml(url):
    print('url='+url)
    oper = makeOpener()
    if oper is not None:
        page = oper.open(url)
        #print ('-----oper----')
    else:
        req=urllib.request.Request(url)
        # 爬虫伪装浏览器
        req.add_header('User-Agent','Mozilla/5.0 (Windows NT 6.1; WOW64; rv:57.0) Gecko/20100101 Firefox/57.0')
        page = urllib.request.urlopen(req)
    html = page.read()
    if collectHtmlEnabled: #是否采集html
       with open('html.txt', 'wb') as f:
           f.write(html)  # 采集到本地文件,来分析
    # ------ 修改html对象内的字符编码为UTF-8 ------
    if chardetSupport:
        cdt = chardet.detect(html)
        charset = cdt['encoding'] #用chardet进行内容分析
    else:
       charset = 'utf8'
    try:
       result = html.decode(charset)
    except:
       result = html.decode('gbk')
    return result

下载单个图片

# ------ 根据图片url下载图片 ------
# folderPath 定义图片存放的目录 imgUrl 一个图片的链接地址 index 索引,表示第几个图片
def downloadImg(folderPath, imgUrl, index):
    # ------ 异常处理 ------
    try:
        imgContent = (urllib.request.urlopen(imgUrl)).read()
    except urllib.error.URLError as e:
        if printLogEnabled : print  ('【错误】当前图片无法下载')
        return False
    except urllib.error.HTTPError as e:
        if printLogEnabled : print  ('【错误】当前图片下载异常')
        return False
    else:
        imgeNameFromUrl = os.path.basename(imgUrl)
        if printLogEnabled : print ('正在下载第'+str(index+1)+'张图片,图片地址:'+str(imgUrl))
        # ------ IO处理 ------
        isExists=os.path.exists(folderPath)
        if not isExists:  # 目录不存在,则创建
             os.makedirs( folderPath )
             #print  ('创建目录')
        # 图片名命名规则,随机字符串
        imgName = imgeNameFromUrl
        if len(imgeNameFromUrl) < 8:
            imgName = random_str(4) + random_str(1,'123456789') + random_str(2,'0123456789')+"_" + imgeNameFromUrl
        filename= folderPath + "\\"+str(imgName)+".jpg"
        try:
             with  open(filename, 'wb') as f:
                 f.write(imgContent)  # 写入本地磁盘
             # if printLogEnabled : print ('下载完成第'+str(index+1)+'张图片')
        except :
            return False
        return True

下载一批图片(多线程/线程池模式皆支持)

# ------ 批量下载图片 ------
# folderPath 定义图片存放的目录 imgList 多个图片的链接地址
def downloadImgList(folderPath, imgList):
   index = 0
   # print ('poolSupport='+str(poolSupport))
   if not poolSupport:
      #print ('多线程模式')
      # ------ 多线程编程 ------
      threads = []
      for imgUrl in imgList:
          # if printLogEnabled : print ('准备下载第'+str(index+1)+'张图片')
          threads.append(threading.Thread(target=downloadImg,args=(folderPath,imgUrl,index,)))
          index += 1
      for t in threads:
          t.setDaemon(True)
          t.start()
      t.join() #父线程,等待所有线程结束
      if len(imgList) >0 : print ('下载结束,存放图片目录:' + str(folderPath))
   else:
      #print ('线程池模式')
       # ------ 线程池编程 ------
      futures = []
      # 创建一个最大可容纳N个task的线程池  thePoolSize 为 全局变量
      with concurrent.futures.ThreadPoolExecutor(max_workers=thePoolSize)  as pool: 
        for imgUrl in imgList:
          # if printLogEnabled : print ('准备下载第'+str(index+1)+'张图片')
          futures.append(pool.submit(downloadImg, folderPath, imgUrl, index))
          index += 1
        result = concurrent.futures.wait(futures, timeout=None, return_when='ALL_COMPLETED')
        suc = 0
        for f in result.done:
            if f.result():  suc +=1
        print('下载结束,总数:'+str(len(imgList))+',成功数:'+str(suc)+',存放图片目录:' + str(folderPath))

调用例子

如百度贴吧为例

# ------ 下载百度帖子内所有图片 ------
# folderPath 定义图片存放的目录 url 百度贴吧链接
def downloadImgFromBaidutieba(folderPath='tieba', url='https://tieba.baidu.com/p/5256331871'):
    html = getHtml(url)
    # ------ 利用正则表达式匹配网页内容找到图片地址 ------
    #reg = r'src="(.*?\.jpg)"'
    reg = r'src="(.*?/sign=.*?\.jpg)"'
    imgre = re.compile(reg);
    imgList = re.findall(imgre, html)
    print ('找到图片个数:' + str(len(imgList)))
    # 下载图片
    if len(imgList) >0 : downloadImgList(folderPath, imgList) 

# 程序入口
if __name__ == '__main__':
    now = datetime.datetime.now().strftime('%Y-%m-%d %H-%M-%S')
    # 下载百度帖子内所有图片
    downloadImgFromBaidutieba('tieba\\'+now, 'https://tieba.baidu.com/p/5256331871')

效果

完整源码请见

我的github:https://github.com/SvenAugustus/PicDownloader-example

或码云:https://gitee.com/svenaugustus/PicDownloader-example

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏惨绿少年

磁盘管理 之 parted命令添加swap,文件系统

第1章 磁盘管理 1.1 必须要了解的。 1.1.1 ps aux 命令中 RSS 与VSZ的含义 rss 进程占用的物理内存的大小 单位:kb ;   ...

2800
来自专栏Greenplum

Linux 常用命令(三)

curl 命令支持在线下载功能,使用方便,它支持,S,等协议,还支持PUT,POST,COOKIES,认证授权等操作。

2530

访问数据 - 反应方式(Vert.x入门的第4部分)

原文地址:https://dzone.com/articles/accessing-data-the-reactive-way

1.2K4
来自专栏魏琼东

分布式消息总线,基于.NET Socket Tcp的发布-订阅框架之离线支持,附代码下载

     在前面的分享一个分布式消息总线,基于.NET Socket Tcp的发布-订阅框架,附代码下载一文之中给大家分享和介绍了一个极其简单也非常容易上的基于...

1190
来自专栏用户2442861的专栏

Springmvc+uploadify实现文件上传

   网上看了很多关于文件上传的帖子,众口不一,感觉有点乱,最近正好公司的项目里用到JQuery的uploadify控件做文件上传,所以整理下头绪,搞篇文档出来...

1842
来自专栏yukong的小专栏

【SpringBoot系列04】SpringBoot之使用JPA完成简单的rest api

【SpringBoot2.0系列02】SpringBoot之使用Thymeleaf视图模板

1776
来自专栏一个爱瞎折腾的程序猿

asp.net core使用Swashbuckle.AspNetCore(swagger)生成接口文档

开局一张图,然后开始编,一些基本的asp.net core东西就不再赘述,本文只对Swashbuckle.AspNetCore的几个使用要点进行描述。

1771
来自专栏王二麻子IT技术交流园地

《跟我学IDEA》四、配置模板(提高代码编写效率)

上一篇博文,我们学习了idea的一些实用配置,相信大家也对idea这个开发工具有了一个大概的了解。今天我们来学习模板的配置,idea提供很多模板从而提高编写代码...

9427
来自专栏北京马哥教育

Linux 中 fcntl()、lockf、flock 的区别

这三个函数的作用都是给文件加锁,那它们有什么区别呢?首先flock和fcntl是系统调用,而lockf是库函数。lockf实际上是fcntl的封装,所以lock...

60411
来自专栏农夫安全

docker小试牛刀之bash_shellshock漏洞复现

漏洞名称 bash_shellshock • 首先,问题起因于一个命令ENV。 • 原型: • env [OPTION]...[NAME=VALUE]......

3088

扫码关注云+社区

领取腾讯云代金券