专栏首页python3python3 爬虫之爬取糗事百科

python3 爬虫之爬取糗事百科

闲着没事爬个糗事百科的笑话看看

python3中用urllib.request.urlopen()打开糗事百科链接会提示以下错误

http.client.RemoteDisconnected: Remote end closed connection without response

但是打开别的链接就正常,很奇怪不知道为什么,没办法改用第三方模块requests,也可以用urllib3模块,还有一个第三方模块就是bs4(beautifulsoup4)

最后经过不懈努力,终于找到了为什么,原因就是没有添加headers,需要添加headers,让网站认为是从浏览器发起的请求,这样就不会报错了。

import urllib.request

url = 'http://www.qiushibaike.com/8hr/page/5/'
 
user_agent = 'Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)'
headers = {'User-agent':user_agent}

request = urllib.request.Request(url,headers=headers)
html = urllib.request.urlopen(request)
print(html.read().decode())

requests模块安装和使用,这里就不说了

附上官方链接:http://docs.python-requests.org/en/master/

中文文档:http://cn.python-requests.org/zh_CN/latest/

>>> r = requests.get('https://api.github.com/user', auth=('user', 'pass'))
>>> r.status_code
200
>>> r.headers['content-type']
'application/json; charset=utf8'
>>> r.encoding
'utf-8'
>>> r.text
u'{"type":"User"...'
>>> r.json()
{u'private_gists': 419, u'total_private_repos': 77, ...}

urllib3模块安装和使用,这里也不说了

附上官方链接:https://urllib3.readthedocs.io/en/latest/

>>> import urllib3
>>> http = urllib3.PoolManager()
>>> r = http.request('GET', 'http://httpbin.org/robots.txt')
>>> r.status
200
>>> r.data
'User-agent: *\nDisallow: /deny\n'

bs4模块安装和使用

附上官方链接:https://www.crummy.com/software/BeautifulSoup/

好了,上面三个模块有兴趣的可以自己研究学习下,以下是代码:

爬取糗事百科的段子和图片

import requests
import urllib.request
import re

def get_html(url):
    page = requests.get(url)
    return page.text

def get_text(html,file):
    textre = re.compile(r'content">\n*<span>(.*)</span>')
    textlist = re.findall(textre,html)
    num = 0
    txt = []
    for i in textlist:
        num += 1
        txt.append(str(num)+'.'+i+'\n'*2)
    with open(file,'w',encoding='utf-8') as f:
        f.writelines(txt)

def get_img(html):
    imgre = re.compile(r'<img src="(.*\.JPEG)" alt=',re.IGNORECASE)
    imglist = re.findall(imgre,html)
    x = 0
    for imgurl in imglist:
        x += 1
        urllib.request.urlretrieve(imgurl, '%s.jpg' % x)

html = get_html("http://www.qiushibaike.com/8hr/page/2/")

get_text(html,'a.txt')
get_img(html)

很简单,欢迎大家吐槽,有兴趣的可以加群一块学习(219636001)

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • python爬虫第五天

            我们访问网页是通过http协议进行的,而http协议是一个无状态协议(无法维持会话之间的状态),比如我们登录一个网站成功后访问另一个网页,那么登...

    用户2398817
  • Django之Template

    这样在浏览器中渲染出的就是sfencs,即把{{ name }}替换成了views函数传递的字典对应的值。

    用户2398817
  • Django 模版语法 二

    如果值是False,就替换成设置的默认值,否则就是用本来的值 在 views.py 中修改

    用户2398817
  • 挑战程序竞赛系列(67):4.7字符串匹配(2)

    版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.n...

    用户1147447
  • 如何入门 Python 爬虫?

    刚做完一个跟python爬虫相关的项目,也来说说自己的经验,希望对想学习python爬虫的人有所帮助。 既然问的是如何入门,我想一定是助学者,而且我觉...

    机器学习AI算法工程
  • 如何入门 Python 爬虫?

    之前转载过两篇关于“爬虫”的文章,小编在后台收到不少相关的留言,希望能够继续深入,所以有了下面这篇文章。

    华章科技
  • 使用JWT做RESTful API的身份验证-Go语言实现

    在 使用Golang和MongoDB构建 RESTful API已经实现了一个简单的 RESTful API应用,但是对于有些API接口需要授权之后才能访问,在...

    李海彬
  • JFinal极速开发框架使用笔记(二) 两个问题,一个发现

    最近给新人出了一个小测试,我也用JFinal框架做了一下,记录一下使用过程中遇到的坑和新学到的知识点 首先是遇到的两个小问题, 一个是用最新版的eclipse运...

    二十三年蝉
  • go http 分析

    handler 参数(w http.ResponseWriter, r *http.Request)

    solate
  • 一文读懂电影《流浪地球》没有交代清楚的烧脑科学知识

    大年初一,根据刘慈欣的小说《流浪地球》改编的同名电影《流浪地球》在全国上映。我第一时间慕名到电影院去观看了影片。整部电影气势恢宏,讲述了太阳将变成红巨星,人类驱...

    量子位

扫码关注云+社区

领取腾讯云代金券

玩转腾讯云 有奖征文活动