Python爬虫 - 抓取divnil动漫妹子图

sergiojune

发布于 2018-12-27 14:14:24

5710

发布于 2018-12-27 14:14:24

文章被收录于专栏：日常学python日常学python

作者：zckun 原文：https://www.jianshu.com/p/e7d7616fa9d1

正文

目标网站 https://divnil.com

首先看看这网站是怎样加载数据的; 打开网站后发现底部有下一页的按钮，ok，爬这个网站就很简单了;

我们目标是获取每张图片的高清的源地址，并且下载图片到桌面; 先随便打开一张图片看看详细; emmm，只有一张图

看起来还挺清晰的，单击新窗口打开图片

然后下载图片，说实话，这图片很小，我很担心不是高清原图(管他的);

PS:一定要禁用广告拦截插件，不然加载不出图，我就在这被坑T_T;

接着分析我们从何入手

1、先去主页面获取每个图片的详细页面的链接

这链接还是比较好获取的，直接 F12 审核元素，或者右键查看代码，手机上chrome和firefox在url前面加上 "view-source"

比如： view-source:https://www.baidu.com/

2、从详细页面获取图片大图地址 随便打开一个图片详细页面如图：

接着按 F12 审核元素，我们需要定位该图片的链接，首先单击左上角的这玩意儿，像一个鼠标的图标：

接着只需要单击网页上的图片就能定位到代码了：

3、用大图地址下载该图片

这个很简单，看代码

先安装 Requests 和 BeautifulSoup 库

pip install requests bs4

导入库

import requestsfrom bs4 import BeautifulSoupimport sys

请求获取网页源代码

url = "https://divnil.com/wallpaper/iphone8/%E3%82%A2%E3%83%8B%E3%83%A1%E3%81%AE%E5%A3%81%E7%B4%99_2.html"
headers = {
 "User-Agent": "Mozilla/5.0 (X11; Linux x86_64; rv:58.0) Gecko/20100101 Firefox/58.0",
}
resp = requests.get(url, headers=headers)
if resp.status_code != requests.codes.OK:
 print("Request Error, Code: %d"% resp.status_code)
 sys.exit()

然后解析出所有图片的详细地址

soup = BeautifulSoup(resp.text, "html.parser")
contents = soup.findAll("div", id="contents")[0]
wallpapers = contents.findAll("a", rel="wallpaper")
links = []
for wallpaper in wallpapers:
  links.append(wallpaper['href'])

接着在详细网页里获取那个看似高清的图片的不确定是否为真实图片链接并下载(/滑稽)

import os

head = "https://divnil.com/wallpaper/iphone8/"
if os.path.exists("./Divnil") != True:
  os.mkdir("./Divnil")

for url in links:
  url = head + url
  resp = requests.get(url, headers=headers)
  if  resp.status_code != requests.codes.OK:
    print("URL: %s REQUESTS ERROR. CODE: %d" % (url, resp.status_code))
    continue
  soup = BeautifulSoup(resp.text, "html.parser")
  img =  soup.find("div", id="contents").contents.find("img", id="main_content")
  img_url = head + img['"original'].replace("../", "")
  img_name = img['alt']
  print("start download %s ..." % img_url)

  resp = requests.get(img_url, headers=headers)
  if resp.status_code != requests.codes.OK:
    print("IMAGE %s DOWNLOAD FAILED." % img_name)

  with open("./Divnil/" + img_name + ".jpg", "wb") as f:
    f.write(resp.content)

作者：zckun
链接：https://www.jianshu.com/p/e7d7616fa9d1
來源：简书
简书著作权归作者所有，任何形式的转载都请联系作者获得授权并注明出处。

主要代码

完成，贴上所有代码

import requests
from bs4 import BeautifulSoup
import sys
import os


class Divnil:

    def __init__(self):
        self.url = "https://divnil.com/wallpaper/iphone8/%E3%82%A2%E3%83%8B%E3%83%A1%E3%81%AE%E5%A3%81%E7%B4%99.html"
        self.head = "https://divnil.com/wallpaper/iphone8/"
        self.headers = {
            "User-Agent": "Mozilla/5.0 (X11; Linux x86_64; rv:58.0) Gecko/20100101 Firefox/58.0",
        }
    

    def getImageInfoUrl(self):

        resp = requests.get(self.url, headers=self.headers)
        if resp.status_code != requests.codes.OK:
            print("Request Error, Code: %d"% resp.status_code)
            sys.exit()

        soup = BeautifulSoup(resp.text, "html.parser")
        
        contents = soup.find("div", id="contents")
        wallpapers = contents.findAll("a", rel="wallpaper")
        
        self.links = []
        for wallpaper in wallpapers:
            self.links.append(wallpaper['href'])

    
    def downloadImage(self):

        if os.path.exists("./Divnil") != True:
            os.mkdir("./Divnil")

        for url in self.links:
            
            url = self.head + url
            
            resp = requests.get(url, headers=self.headers)
            if  resp.status_code != requests.codes.OK:
                print("URL: %s REQUESTS ERROR. CODE: %d" % (url, resp.status_code))
                continue
            
            soup = BeautifulSoup(resp.text, "html.parser")
            
            img = soup.find("div", id="contents").find("img", id="main_content")
            img_url = self.head + img['original'].replace("../", "")
            img_name = img['alt']
            
            print("start download %s ..." % img_url)

            resp = requests.get(img_url, headers=self.headers)
            if resp.status_code != requests.codes.OK:
                print("IMAGE %s DOWNLOAD FAILED." % img_name)
                continue

            if '/' in img_name:
                img_name = img_name.split('/')[1]

            with open("./Divnil/" + img_name + ".jpg", "wb") as f:
                f.write(resp.content)


    def main(self):
        self.getImageInfoUrl()
        self.downloadImage()


if __name__ == "__main__":
    divnil = Divnil()
    divnil.main()

结语

完整代码地址：https://github.com/ZCkun/divnilCrawler

感谢观看此文章 :)

本文参与腾讯云自媒体分享计划，分享自微信公众号。

原始发表：2018-12-14，如有侵权请联系 cloudcommunity@tencent.com 删除

python

爬虫

本文分享自日常学python 微信公众号，前往查看

如有侵权，请联系 cloudcommunity@tencent.com 删除。

本文参与腾讯云自媒体分享计划，欢迎热爱写作的你一起参与！

python

爬虫

登录后参与评论

0 条评论

热度