专栏首页python3使用Python爬虫爬取妹子图图片

使用Python爬虫爬取妹子图图片

        最近在学习Python的爬虫部分。看到有网友在分享使用爬虫爬取各种网站的图片的代码,也想自己写个玩玩。今天花时间分析了一下妹子图网站的结构和HTML代码,使用urllib2和BeautifulSoup写出了一个自动下载妹子图网站图片的脚本。

        后来发现抓取不了了,修改了一下,加了User-Agent,又恢复正常了。

        妹子图网址:http://www.mzitu.com

        运行效果如下:

        源代码如下,请各位大神指教:

# -*- coding:utf8 -*-
# Python:         2.7.8
# Platform:       Windows
# Author:         wucl
# Version:        1.0
# Program:        自动下载妹子图的图片并保存到本地
# History:        2015.5.31
#                 2015.6.2  发现被禁止抓取了,增加了随机的浏览器头部信息,模拟浏览器抓取。

import urllib2, os, os.path, urllib, random
from bs4 import BeautifulSoup

def get_soup(url):
    """
    获取网站的soup对象
    """
    my_headers = [
    'Mozilla/5.0 (Windows NT 5.2) AppleWebKit/534.30 (KHTML, like Gecko) Chrome/12.0.742.122 Safari/534.30',
    'Mozilla/5.0 (Windows NT 5.1; rv:5.0) Gecko/20100101 Firefox/5.0',
    'Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 5.2; Trident/4.0; .NET CLR 1.1.4322; .NET CLR 2.0.50727; .NET4.0E; .NET CLR 3.0.4506.2152; .NET CLR 3.5.30729; .NET4.0C)',
    'Opera/9.80 (Windows NT 5.1; U; zh-cn) Presto/2.9.168 Version/11.50',
    'Mozilla/5.0 (Windows; U; Windows NT 5.1; zh-CN) AppleWebKit/533.21.1 (KHTML, like Gecko) Version/5.0.5 Safari/533.21.1',
    'Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 5.1; Trident/4.0; .NET CLR 2.0.50727; .NET CLR 3.0.04506.648; .NET CLR 3.5.21022; .NET4.0E; .NET CLR 3.0.4506.2152; .NET CLR 3.5.30729; .NET4.0C)']
    header={"User-Agent":random.choice(my_headers)}
    req=urllib2.Request(url, headers=header)
    html=urllib2.urlopen(req).read()
    soup=BeautifulSoup(html)
    return soup
    
def get_pages(url):
    """
    获取妹子图网站的页数
    """
    soup=get_soup(url)
    nums=soup.find_all('a',class_='page-numbers')
    pages=int(nums[-2].text)
    return pages

    
def get_menu(url):
    """
    获取页面的所有妹子图主题的链接名称和地址,记入列表
    """
    soup=get_soup(url)
    menu=[]
    menu_list=soup.find_all('a',target='_blank')
    for i in menu_list:
        result=i.find_all('img',class_='lazy')
        if result:
            name=result[0]['alt']
            address=i['href']
            menu.append([name,address])
    return menu

def get_links(url):
    """
    获取单个妹子图主题一共具有多少张图片
    """
    soup=get_soup(url)
    all_=soup.find_all('a')
    nums=[]
    for i in all_:
        span=i.find_all('span')
        if span:
            nums.append(span[0].text)
    return nums[-2]
            
def get_p_w_picpath(url,filename):
    """
    从单独的页面中提取出图片保存为filename
    """
    soup=get_soup(url)
    p_w_picpath=soup.find_all('p')[0].find_all('img')[0]['src']
    urllib.urlretrieve(p_w_picpath,filename)

def main(page):
    """
    下载第page页的妹子图
    """
    print u'正在下载第 %d 页' % page
    page_url=url+'/page/'+str(page)
    menu=get_menu(page_url)
    print u'@@@@@@@@@@@@@@@@第 %d 页共有 %d 个主题@@@@@@@@@@@@@@@@' %(page,len(menu))
    for i in menu:
        dir_name=os.path.join('MeiZiTu',i[0])
        if not os.path.exists(dir_name):
            os.mkdir(dir_name)
        pic_nums=int(get_links(i[1]))
        print u'\n\n\n*******主题 %s 一共有 %d 张图片******\n' %(i[0],pic_nums)
        for pic in range(1,pic_nums+1):
            basename=str(pic)+'.jpg'
            filename=os.path.join(dir_name,basename)
            pic_url=i[1]+'/'+str(pic)
            if not os.path.exists(filename):
                print u'......%s' % basename,
                get_p_w_picpath(pic_url,filename)
            else:
                print filename+u'已存在,略过'
    
if __name__=='__main__':
    url='http://www.mzitu.com/'
    pages=get_pages(url)
    print u'***************妹子图一共有 %d 页******************' %pages
    if not os.path.exists('MeiZiTu'):
        os.mkdir('MeiZiTu')
    page_start=input(u'Input the first page number:\n')
    page_end=input(u'Input the last page number:\n')
    if page_end>page_start:
        for page in range(page_start,page_end):
            main(page)
    elif page_end==page_start:
        main(page_end)
    else:
        print u"输入错误,起始页必须小于等于结束页\n"

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • Docker入手

    Docker是一个开源的引擎,可以轻松的为任何应用创建一个轻量级的、可移植的、自给自足的容器。开发者在笔记本上编译测试通过的容器可以批量地在生产环境中部署,包括...

    故事尾音
  • Glidedsky 爬虫挑战 | js 加密1

    Glidedsky 是一个爬虫闯关的网站,针对不同的水平的玩家,有着难度不同的关卡,基础爬虫,以及比较难的爬虫,用于练练手是挺适合的一个网站

    用户6825444
  • 《Prometheus监控实战》第2章 Prometheus简介

    yeedomliu
  • 使用easyswoole开发多进程多协程队列式爬虫

    这里我推荐http://www.querylist.cc/  可使用jq的语法选择html页面的元素,非常好用

    仙士可
  • Python之‘pexels‘网站爬取下载图片

    第一期小编给大家分享了京东商品图片爬虫的小项目,这次呢小编带来的还是图片爬虫的小项目,与上次不同的是下载图片所使用的技术是不同的,京东使用

    用户6825444
  • Python | 事半功倍怎么来呢

    在写爬虫时,在数据量比较大时大家一定遇见过爬取速度不理想的问题吧。这次小编以上次的“360图片爬虫”,把它分别改写成了多进程,多线程,以及多线程 + 多进程的爬...

    用户6825444
  • Python之Scrapy框架当当网口红爬虫

    今天小编给大家带来的是使用 Python 的 scrapy 框架快速写一个“当当网”的"口红"商品的名称,价格,评论人数,链接的爬虫,存储数到 json 文件,...

    用户6825444
  • Python之Scrapy海报资源海量下载

    今天小编给大家带来的是使用 Python 的 scrapy 框架快速写一个“千图网”的海报原图下载的爬虫,可以给设计专业的相关的人下载图片参考设计海报,也可在活...

    用户6825444
  • 0基础Python最快的入门方法与实战项目!

    今天我们来分享一位前辈的心得和学习路径,他解决了纯小白基础段入门的问题,同时推荐了每个阶段适合的练手项目,希望对你有所帮助。

    python学习教程
  • 爬虫的结构是什么样的呢?

    在软件工程中,有着这么几个字“高内聚低耦合”,意思就是说:大模块分割成一个个小模块实现,每一个模块之间的独立性较高,修改某个模块,对其他模块或整个项目影响较小。

    用户6825444

扫码关注云+社区

领取腾讯云代金券