Python爬虫入门教程 6-100 蜂鸟网图片爬取之一

原创

梦想橡皮擦

修改于 2019-02-12 09:18:46

5110

修改于 2019-02-12 09:18:46

文章被收录于专栏：Python3爬虫100例教程Python3爬虫100例教程

1. 简介

国庆假日结束了，新的工作又开始了，今天我们继续爬取一个网站，这个网站为 http://image.fengniao.com/ ，蜂鸟一个摄影大牛聚集的地方，本教程请用来学习，不要用于商业目的，不出意外，蜂鸟是有版权保护的网站。

2. 网站分析

第一步，分析要爬取的网站有没有方法爬取，打开页面，找分页

http://image.fengniao.com/index.php?action=getList&class\_id=192&sub\_classid=0&page=1&not\_in\_id=5352384,5352410

http://image.fengniao.com/index.php?action=getList&class\_id=192&sub\_classid=0&page=2&not\_in\_id=5352384,5352410

http://image.fengniao.com/index.php?action=getList&class\_id=192&sub\_classid=0&page=3&not\_in\_id=5352384,5352410

http://image.fengniao.com/index.php?action=getList&class\_id=192&sub\_classid=0&page=4&not\_in\_id=5352384,5352410

上面的页面发现一个关键的参数page=1这个就是页码了，但是另一个比较头疼的问题是，他没有最后的页码，这样我们没有办法确定循环次数，所以后面的代码编写中，只能使用while了

这个地址返回的是JSON格式的数据，这个对爬虫来说，非常友好！省的我们用正则表达式分析了。

分析这个页面的头文件，查阅是否有反爬措施

发现除了HOST和User-Agent以外，没有特殊的点，大网站就是任性，没啥反爬，可能压根不在乎这个事情。

第二步，分析图片详情页面，在我们上面获取到的JSON中，找到关键地址

关键地址打开之后，这个地方有一个比较骚的操作了，上面图片中标注的URL选的不好，恰好是一个文章了，我们要的是组图，重新提供一个新链接 http://image.fengniao.com/slide/535/5352130\_1.html#p=1

打开页面，你可能直接去找规律了，找到下面的一堆链接，但是这个操作就有点复杂了，我们查阅上述页面的源码

http://image.fengniao.com/slide/535/5352130\_1.html#p=1

http://image.fengniao.com/slide/535/5352130\_1.html#p=2

http://image.fengniao.com/slide/535/5352130\_1.html#p=3

....

网页源码中发现了，这么一块区域

大胆的猜测一下，这个应该是图片的JSON，只是他打印在了HTML中，我们只需要用正则表达式进行一下匹配就好了，匹配到之后，然后进行下载。

第三步，开始撸代码。

3. 写代码

from http\_help import R  # 这个文件自己去上篇博客找，或者去github找

import threading

import time

import json

import re



img\_list = []

imgs\_lock = threading.Lock()  #图片操作锁





# 生产者类

class Product(threading.Thread):



    def \_\_init\_\_(self):

        threading.Thread.\_\_init\_\_(self)



        self.\_\_headers = {"Referer":"http://image.fengniao.com/",

                          "Host": "image.fengniao.com",

                          "X-Requested-With":"XMLHttpRequest"

                          }

        #链接模板

        self.\_\_start = "http://image.fengniao.com/index.php?action=getList&class\_id=192&sub\_classid=0&page={}&not\_in\_id={}"

        self.\_\_res = R(headers=self.\_\_headers)





    def run(self):



        # 因为不知道循环次数，所有采用while循环

        index = 2 #起始页码设置为1

        not\_in = "5352384,5352410"

        while True:

            url  = self.\_\_start.format(index,not\_in)

            print("开始操作:{}".format(url))

            index += 1



            content = self.\_\_res.get\_content(url,charset="gbk")



            if content is None:

                print("数据可能已经没有了====")

                continue



            time.sleep(3)  # 睡眠3秒

            json\_content = json.loads(content)



            if json\_content["status"] == 1:

                for item in json\_content["data"]:

                    title = item["title"]

                    child\_url =  item["url"]   # 获取到链接之后



                    img\_content = self.\_\_res.get\_content(child\_url,charset="gbk")



                    pattern = re.compile('"pic\_url\_1920\_b":"(.\*?)"')

                    imgs\_json = pattern.findall(img\_content)

                    if len(imgs\_json) > 0:



                        if imgs\_lock.acquire():

                            img\_list.append({"title":title,"urls":imgs\_json})   # 这个地方，我用的是字典+列表的方式，主要是想后面生成文件夹用，你可以进行改造

                            imgs\_lock.release()

上面的链接已经生成，下面就是下载图片了，也非常简单

# 消费者

class Consumer(threading.Thread):

    def \_\_init\_\_(self):

        threading.Thread.\_\_init\_\_(self)

        self.\_\_res = R()



    def run(self):



        while True:

            if len(img\_list) <= 0:

                continue  # 进入下一次循环



            if imgs\_lock.acquire():



                data = img\_list[0]

                del img\_list[0]  # 删除第一项



                imgs\_lock.release()



            urls =[url.replace("\\","") for url in data["urls"]]



            # 创建文件目录

            for item\_url in urls:

               try:

                   file =  self.\_\_res.get\_file(item\_url)

                   # 记得在项目根目录先把fengniaos文件夹创建完毕

                   with open("./fengniaos/{}".format(str(time.time())+".jpg"), "wb+") as f:

                       f.write(file)

               except Exception as e:

                   print(e)

代码走起，结果