python抓取不得姐动图(报错 urllib.error.HTTPError: HTTP Error 403: Forbidden)

抓取不得姐动图(报错)

# -*- coding:utf-8 -*-
#__author__ :kusy
#__content__:文件说明
#__date__:2018/7/23 17:01
import urllib.request
import re

def getHtml(url):
    page = urllib.request.urlopen(url)
    html = page.read()
    # print(html)
    return html

def getImg(reg,savePath):
    iCnt = 0
    def giveImg(html):
        imgre = re.compile(reg)
        imglist = re.findall(imgre, html.decode('utf-8'))
        nonlocal iCnt
        for imgurl in imglist:
            urllib.request.urlretrieve(imgurl, savePath + '%s.gif' % iCnt)
            iCnt += 1
    return giveImg


# html = getHtml("http://pic.sogou.com/")
# reg = r'"image":"(.+?)"'  #sougou

reg = r'data-original="(.+?\.gif)"'
savePath = 'image/gif/'
g = getImg(reg,savePath)
for i in range(10):
    if i >1:
        print("http://www.budejie.com/" + str(i))
        html = getHtml("http://www.budejie.com/" + str(i))
    else:
        html = getHtml("http://www.budejie.com/")
    g(html)

报错如下

E:\kusy\python\venv\Scripts\python.exe E:/kusy/python/getJpg.py
http://www.budejie.com/2
Traceback (most recent call last):
  File "E:/kusy/python/getJpg.py", line 35, in <module>
    html = getHtml("http://www.budejie.com/" + str(i))
  File "E:/kusy/python/getJpg.py", line 9, in getHtml
    page = urllib.request.urlopen(url)
  File "C:\Users\jingjing\AppData\Local\Programs\Python\Python36\lib\urllib\request.py", line 223, in urlopen
    return opener.open(url, data, timeout)
  File "C:\Users\jingjing\AppData\Local\Programs\Python\Python36\lib\urllib\request.py", line 532, in open
    response = meth(req, response)
  File "C:\Users\jingjing\AppData\Local\Programs\Python\Python36\lib\urllib\request.py", line 642, in http_response
    'http', request, response, code, msg, hdrs)
  File "C:\Users\jingjing\AppData\Local\Programs\Python\Python36\lib\urllib\request.py", line 570, in error
    return self._call_chain(*args)
  File "C:\Users\jingjing\AppData\Local\Programs\Python\Python36\lib\urllib\request.py", line 504, in _call_chain
    result = func(*args)
  File "C:\Users\jingjing\AppData\Local\Programs\Python\Python36\lib\urllib\request.py", line 650, in http_error_default
    raise HTTPError(req.full_url, code, msg, hdrs, fp)
urllib.error.HTTPError: HTTP Error 403: Forbidden

Process finished with exit code 1

百度了下已解决:

# -*- coding:utf-8 -*-
#__author__ :kusy
#__content__:文件说明
#__date__:2018/7/23 17:01
import urllib.request
import re

def getHtml(url):
    # 如果不加上下面的这行出现会出现urllib.error.HTTPError: HTTP Error 403: Forbidden错误
    # 主要是由于该网站禁止爬虫导致的,可以在请求加上头信息,伪装成浏览器访问User-Agent,具体的信息可以通过火狐的FireBug插件查询
    headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64; rv:23.0) Gecko/20100101 Firefox/23.0'}
    req = urllib.request.Request(url=url,headers=headers)
    page = urllib.request.urlopen(req)
    html = page.read()
    # print(html)
    return html

def getImg(reg,savePath):
    iCnt = 0
    def giveImg(html):
        imgre = re.compile(reg)
        imglist = re.findall(imgre, html.decode('utf-8'))
        nonlocal iCnt
        for imgurl in imglist:
            urllib.request.urlretrieve(imgurl, savePath + '%s.gif' % iCnt)
            iCnt += 1
    return giveImg


# html = getHtml("http://pic.sogou.com/")
# reg = r'"image":"(.+?)"'  #sougou

reg = r'data-original="(.+?\.gif)"'
savePath = 'image/gif/'
g = getImg(reg,savePath)
for i in range(10):
    if i >1:
        print("http://www.budejie.com/" + str(i))
        html = getHtml("http://www.budejie.com/" + str(i))
    else:
        html = getHtml("http://www.budejie.com/")
    g(html)

下载成功

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏移动端开发

iOS ReactiveCocoa(RAC)学习详解

概述:     ReactiveCocoa(简称为RAC),是由Github开源的一个应用于iOS和OS开发的一个框架,有时间,自己也了解学习了一下这个框架的一...

32760
来自专栏向治洪

手把手教你从Core Data迁移到Realm

前言 Hybrid App(混合模式移动应用)是指介于web-app、native-app这两者之间的app,兼具“Native App良好用户交互体验的优势”...

27270
来自专栏老司机的简书

老司机出品————多线程实践

老司机今天讲的不是多线程的基本用法,这个东西往上的博客其实蛮多的,而且也基本是多线程的基本用法。老司机今天主要的是介绍多个异步线程执行结束后进行回调的解决方案,...

11310
来自专栏老司机的简书

老司机出品——数据持久化之基于FMDB的ORM数据库设计

这次呢,我们来说说iOS中数据持久化的几种方案。说到iOS中的数据存储,无非有4中方式:

14230
来自专栏编程之旅

iOS开发——Debug CUICatalog: Invalid asset name supplied: (null)

今天看到了一个Xcode log出了一个错误 CUICatalog:Invalid asset name supplied: (null), Google了一下...

30530
来自专栏小尘哥的专栏

小程序(3):授权登录

判断是否授权,如果没有,则显示授权按钮。注意上面的open-type="getUserInfo",这个会自动调起授权框。看一下js

54640
来自专栏.NET开发那点事

If WCF Service side and Client side config is different?!

from stackoverflow  http://stackoverflow.com/questions/4879310/when-setting-up-a...

20950
来自专栏王二麻子IT技术交流园地

《SpringMVC从入门到放肆》五、SpringMVC配置式开发(处理器适配器)

上一篇我们大致讲解了处理器映射器的处理流程以及跟了一下源码的执行流程。今天我们来了解一下处理器适配器。 一、适配器模式 ? 在阎宏博士的《JAVA与模式》一书中...

357110
来自专栏青玉伏案

iOS开发之ReactiveCocoa下的MVVM

最近工作比较忙,但还是出来更新博客了,今天给大家分享一些ReactiveCocoa以及MVVM的一些东西,干活还是比较足的。在之前发表过一篇博文,名字叫做《iO...

32160
来自专栏马洪彪

Java生成条码二维码

一、概述 可用barcode4j或zxing等第三方库,推荐zxing。 barcode4j资料链接:http://barcode4j.sourceforge....

54680

扫码关注云+社区

领取腾讯云代金券