国庆假日结束了,新的工作又开始了,今天我们继续爬取一个网站,这个网站为 http://image.fengniao.com/
,蜂鸟一个摄影大牛聚集的地方,本教程请用来学习,不要用于商业目的,不出意外,蜂鸟是有版权保护的网站。
第一步,分析要爬取的网站有没有方法爬取,打开页面,找分页
http://image.fengniao.com/index.php?action=getList&class\_id=192&sub\_classid=0&page=1¬\_in\_id=5352384,5352410
http://image.fengniao.com/index.php?action=getList&class\_id=192&sub\_classid=0&page=2¬\_in\_id=5352384,5352410
http://image.fengniao.com/index.php?action=getList&class\_id=192&sub\_classid=0&page=3¬\_in\_id=5352384,5352410
http://image.fengniao.com/index.php?action=getList&class\_id=192&sub\_classid=0&page=4¬\_in\_id=5352384,5352410
上面的页面发现一个关键的参数page=1
这个就是页码了,但是另一个比较头疼的问题是,他没有最后的页码,这样我们没有办法确定循环次数,所以后面的代码编写中,只能使用while
了
这个地址返回的是JSON格式的数据,这个对爬虫来说,非常友好!省的我们用正则表达式分析了。
分析这个页面的头文件,查阅是否有反爬措施
发现除了HOST和User-Agent以外,没有特殊的点,大网站就是任性,没啥反爬,可能压根不在乎这个事情。
第二步,分析图片详情页面,在我们上面获取到的JSON中,找到关键地址
关键地址打开之后,这个地方有一个比较骚的操作了,上面图片中标注的URL选的不好,恰好是一个文章了,我们要的是组图,重新提供一个新链接 http://image.fengniao.com/slide/535/5352130\_1.html#p=1
打开页面,你可能直接去找规律了,找到下面的一堆链接,但是这个操作就有点复杂了,我们查阅上述页面的源码
http://image.fengniao.com/slide/535/5352130\_1.html#p=1
http://image.fengniao.com/slide/535/5352130\_1.html#p=2
http://image.fengniao.com/slide/535/5352130\_1.html#p=3
....
网页源码中发现了,这么一块区域
大胆的猜测一下,这个应该是图片的JSON,只是他打印在了HTML中,我们只需要用正则表达式进行一下匹配就好了,匹配到之后,然后进行下载。
第三步,开始撸代码。
from http\_help import R # 这个文件自己去上篇博客找,或者去github找
import threading
import time
import json
import re
img\_list = []
imgs\_lock = threading.Lock() #图片操作锁
# 生产者类
class Product(threading.Thread):
def \_\_init\_\_(self):
threading.Thread.\_\_init\_\_(self)
self.\_\_headers = {"Referer":"http://image.fengniao.com/",
"Host": "image.fengniao.com",
"X-Requested-With":"XMLHttpRequest"
}
#链接模板
self.\_\_start = "http://image.fengniao.com/index.php?action=getList&class\_id=192&sub\_classid=0&page={}¬\_in\_id={}"
self.\_\_res = R(headers=self.\_\_headers)
def run(self):
# 因为不知道循环次数,所有采用while循环
index = 2 #起始页码设置为1
not\_in = "5352384,5352410"
while True:
url = self.\_\_start.format(index,not\_in)
print("开始操作:{}".format(url))
index += 1
content = self.\_\_res.get\_content(url,charset="gbk")
if content is None:
print("数据可能已经没有了====")
continue
time.sleep(3) # 睡眠3秒
json\_content = json.loads(content)
if json\_content["status"] == 1:
for item in json\_content["data"]:
title = item["title"]
child\_url = item["url"] # 获取到链接之后
img\_content = self.\_\_res.get\_content(child\_url,charset="gbk")
pattern = re.compile('"pic\_url\_1920\_b":"(.\*?)"')
imgs\_json = pattern.findall(img\_content)
if len(imgs\_json) > 0:
if imgs\_lock.acquire():
img\_list.append({"title":title,"urls":imgs\_json}) # 这个地方,我用的是字典+列表的方式,主要是想后面生成文件夹用,你可以进行改造
imgs\_lock.release()
上面的链接已经生成,下面就是下载图片了,也非常简单
# 消费者
class Consumer(threading.Thread):
def \_\_init\_\_(self):
threading.Thread.\_\_init\_\_(self)
self.\_\_res = R()
def run(self):
while True:
if len(img\_list) <= 0:
continue # 进入下一次循环
if imgs\_lock.acquire():
data = img\_list[0]
del img\_list[0] # 删除第一项
imgs\_lock.release()
urls =[url.replace("\\","") for url in data["urls"]]
# 创建文件目录
for item\_url in urls:
try:
file = self.\_\_res.get\_file(item\_url)
# 记得在项目根目录先把fengniaos文件夹创建完毕
with open("./fengniaos/{}".format(str(time.time())+".jpg"), "wb+") as f:
f.write(file)
except Exception as e:
print(e)
代码走起,结果
原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。
如有侵权,请联系 cloudcommunity@tencent.com 删除。
原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。
如有侵权,请联系 cloudcommunity@tencent.com 删除。