开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

如何在python3 urllib.request中禁用自动重定向？

在Python3的urllib.request模块中，可以通过设置HTTPRedirectHandler类的实例来禁用自动重定向。具体步骤如下：

导入urllib.request模块：

import urllib.request

创建一个自定义的HTTPRedirectHandler子类，重写其redirect_request()方法，使其返回None，从而禁用自动重定向：

class NoRedirectHandler(urllib.request.HTTPRedirectHandler):
    def redirect_request(self, req, fp, code, msg, headers, newurl):
        return None

创建一个自定义的urllib.request.OpenerDirector对象，将NoRedirectHandler实例添加到其处理器列表中：

opener = urllib.request.build_opener(NoRedirectHandler)

使用opener对象发送请求，即可禁用自动重定向：

response = opener.open(url)

完整的代码示例如下：

import urllib.request

class NoRedirectHandler(urllib.request.HTTPRedirectHandler):
    def redirect_request(self, req, fp, code, msg, headers, newurl):
        return None

opener = urllib.request.build_opener(NoRedirectHandler)
response = opener.open(url)

这样，使用urllib.request发送的请求将不会自动重定向。

相关搜索:如何在ASP.NET Core3中禁用集成测试时的自动重定向如何在formik中禁用提交时自动重置表单？如何在GitAhead中禁用自动刷新如何在IOS中禁用自动省略如何在javascript accordion中禁用自动滚动如何在netlify页面中修复自动重定向如何在PhpStorm中禁用自动获取？如何在QHeaderView中禁用自动渐变效果？如何在react-select中禁用自动完成或自动填充？如何在Spring Boot Keycloak适配器中禁用自动登录重定向

相关搜索:

页面内容是否对你有帮助？

有帮助

没帮助

相关·内容

python爬虫︱百度百科的requests请求、百度URL格式、网页保存、爬虫模块

版权声明：博主原创文章，微信公众号：素质云笔记,转载请注明来源“素质云博客”，谢谢合作！！ https://blog.csdn.net/sinat_26917383/article/details/79475335

02

Python3 urllib.reque

urllib.request库是 Python3 自带的模块(不需要下载，导入即可使用) python 自带的模块库文件都是在C:\Python\Lib目录下（C:\Python是我Python的安装目录），python第三方模块库都是在C:\Python\Lib\site-packages 下。 urllib.request库在windows下的路径（C:\Python\Lib\urllib）。

02

python中的urllib模块中的方法

urllib.request模块定义了一些打开URLs（一般是HTTP协议）复杂操作像是basic 和摘要模式认证，重定向，cookies等的方法和类。这个模块式模拟文件模块实现的，将本地的文件路径改为远程的url。因此函数返回的是类文件对象（file-like object）

01

快速入门网络爬虫系列 Chapter03 | 抓取网页

一、了解URL 统一资源定位符是对可以从互联网上得到的资源的位置和访问方法的一种简介的表示，是互联网上标准资源的地址。互联网上的每个文件都有一个唯一的URL，它包含的信息指出文件的位置以及浏览器怎样处

02

python爬虫开发之urllib模块详细使用方法与实例全解

爬虫所需要的功能，基本上在urllib中都能找到，学习这个标准库，可以更加深入的理解后面更加便利的requests库。

03

Python标准库学习之urllib

本系列以python3.4为基础 urllib是Python3的标准网络请求库。包含了网络数据请求，处理cookie,改变请求头和用户代理，重定向，认证等的函数。 urllib与urllib2?:py

01

Python爬虫核心模块urllib的学习

因为在玩Python challenge的时候，有用过这个模块，而且学习这个模块之后也对系统学习网络爬虫有用。当时查了各种资料学习，没有碰官网文档（因为还是对英语有抗拒性），但是还是官方的文档最具权威和学习价值，因此想要此次翻译官方文档的同时，锻炼自己的英语能力，也对urllib模块加深理解。因为是为了自己复习起来方便~所以就不一句英语一句中文的对照着翻了，有兴趣看原版的，自己点官方文档吧~ Python 3.x版本后的urllib和url

05

python3网络爬虫一《使用urllib.request发送请求》

在Python2版本中，有urllib和urlib2两个库可以用来实现request的发送。而在Python3中，已经不存在urllib2这个库了，统一为urllib。Python3 urllib库官方链接

01

7、web爬虫讲解2—urllib库爬虫—状态吗—异常处理—浏览器伪装技术、设置用户代理

如果爬虫没有异常处理，那么爬行中一旦出现错误，程序将崩溃停止工作，有异常处理即使出现错误也能继续执行下去

08

python网络爬虫（4）结构与基本概念

基本模型请求与响应 import urllib.request as urllib2 request=urllib2.Request('http://www.zhihu.com') response=urllib2.urlopen(request) html=response.read() print(html) Cookie处理呵呵 import urllib.request as urllib2 import http.cookiejar as cookielib cookie = cookie

02

Python基础教程（二十七）：urllib模块

在Python中，urllib模块是一组用于处理URLs的标准库，它提供了发送网络请求、解析URLs、处理重定向和错误等功能。对于进行Web爬虫开发、数据抓取和API调用等任务，urllib模块是非常实用的工具。本文将深入探讨urllib模块的各个组成部分，包括urllib.request, urllib.parse和urllib.error，并通过具体案例帮助你掌握如何使用这些模块进行网络请求和数据处理。

01

python urllib的基本使用之urlopen()

urllib.request模块提供了最基本的构造HTTP请求的方法，利用它可以模拟浏览器的一个请求发起过程，同时还带有处理授权验证、重定向、浏览器Cookies等内容。

02

Python3安装与使用urllib2包之小坑

Python3.6.6或者说python3.x找不到urllib2语法问题修改之后，会报一个没有安装urllib2的包的错误。

02

002：Python爬虫Urllib库全面分析

Python中有一个功能强大，用于操作URL，并且在爬虫中经常使用的库、就是Urllib库。（在python2的时候，有Urllib库，也有Urllib2库。Python3以后把Urllib2合并到了Urllib中）合并后，模块中有很多的位置变动。我在这里先介绍一些常用的改动。 Python2: import urllib2 >>>>>Python3:import urllib.request,urllib.error Python2:import urllib >>>>>Python3:import urllib.request,urllib.error,urllib.parse Python2:import urlparse >>>>>Python3:import urllib.parse Python2:urllib2.urlopen >>>>>Python3:urllib.request.urlopen Python2:urllib.urlencode >>>>>Python3:urllib.request.urlencode Python2:urllib.quote >>>>>Python3:urllib.request.quote Python2:cookielib.CookieJar >>>>>Python3:http.CookieJar Python2:urllib.Request >>>>>Python3:urllib.request.Request 以上是Urllib中常用命令的一些变动。如果之前没有Urllib的基础也没关系，本文后面会详细介绍这些代码的具体应用，以及其实现的各种功能。

01

urllib高级用法--登陆和cookies的使用

对于一些更高级的操作(比如Cookies处理,代理设置,登陆验证),urllib怎么实现?需要更强大的工具Handler登场了,有专门处理登录验证的,有处理Cookies的,用处理代理设置的,几乎做到

02

专栏：004：网页下载器的使用

系列爬虫专栏崇尚的学习思维是：输入，输出平衡，且平衡点不断攀升。曾经有大神告诫说：没事别瞎写文章；所以，很认真的写的是能力范围内的，看客要是看不懂，不是你的问题，问题在我，得持续输入，再输出。差不多正式涉及所谓的网页爬虫 1：框架序号内容说明 01 网络爬虫知识概况概念是理解和精进的第一步 02 urllib 简单说明使用方法 03 request 强烈建议入手 04 代码示例使用request爬取博客 05 参考及备注总结与说明 ---- 2：网络爬虫概念网

03

urllib库python2和python3区别

urllib库python2和python3区别在python2中使用的import urllib2——对应的，在python3中使用import urllib.request , import urllib.error 在python2中使用的import urllib——对应的，在python3中使用import urllib.request , import urllib.error，import urllib.parse 在python2中使用的import urlparse——对应的，在pyth

04

重拾python爬虫之urllib

学习一门技术，总是要踩好多坑，然后收货一大堆疑惑，这么多相似的方式该学哪个呢？外面公司常用的是哪个呢？就比如python爬虫，可以作为网络请求的方式有四种，按时间顺序排：

02

Python笔记（十三）：urllib模块

（一） URL地址 URL地址组件 URL组件说明 scheme 网络协议或下载方案 net_loc 服务器所在地（也许含有用户信息） path 使用（/）分割的文件或CGI应用的路径 params 可选参数 query 连接符（&）分割的一系列键值对 fragment 指定文档内特定锚的部分 net_loc组件 user:password@host:port 组件

06

Python urllib HTTP头注入漏洞

Python的urllib库（在Python2中为urllib2，在Python3中为urllib）有一个HTTP协议下的协议流注入漏洞。如果攻击者可以控制Python代码访问任意URL或者让Python代码访问一个恶意的web servr，那这个漏洞可能会危害内网服务安全。

03

Python 网络请求模块 urllib 、requests

Python 给人的印象是抓取网页非常方便，提供这种生产力的，主要依靠的就是 urllib、requests这两个模块。

02

Python urllib.request对象案例解析

刚刚接触爬虫，基础的东西得时时回顾才行，这么全面的帖子无论如何也得厚着脸皮转过来啊！

02

python爬虫常用模块

涉及到网络这块，必不可少的模式就是urllib.request了，顾名思义这个模块主要负责打开URL和HTTP协议之类的

01

python3 成长之路（1）动力才是

看了很多网上的资料然而很多东西用的都是python 2.7 很多人还是劝使用python3来做

02

【测试开发】python系列教程：urllib

大家都熟知的爬虫，爬虫就是请求网页，进行网页的抓取，那么如何进行网页的抓取呢，今天呢，给大家分享一个能够请求网页，进行数据抓取的库，python自带的urllib。

03

网络请求模块（2）

就像百度翻译翻译一样他是一个动态加载数据，有道翻译是 ajax 请求，真正的 URL 在 XHR 里

04

Python3网络爬虫实战-20、使用U

学习爬虫，最初的操作便是来模拟浏览器向服务器发出一个请求，那么我们需要从哪个地方做起呢？请求需要我们自己来构造吗？我们需要关心请求这个数据结构的实现吗？我们需要了解 HTTP、TCP、IP 层的网络传输通信吗？我们需要知道服务器的响应和应答原理吗？

01

爬虫养成记 - 网络下载器urllib

urllib2是python2.x下的一个模块，在Python3.x中，urllib2被拆分成urllib.request和urllib.error.

01

初识urllib

request: 是最基本的 HTTP 请求模块，可以用来模拟发送请求,只需要给库方法传入URL以及额外的参数，就可以模拟实现这个过程了。

02

详解 python3 urllib

本文是爬虫系列文章的第一篇，主要讲解 Python 3 中的 urllib 库的用法。urllib 是 Python 标准库中用于网络请求的库。该库有四个模块，分别是urllib.request，urllib.error，urllib.parse，urllib.robotparser。其中urllib.request，urllib.error两个库在爬虫程序中应用比较频繁。那我们就开门见山，直接讲解这两个模块的用法。

01

爬虫入门篇(上手即用)

若有些网址设有反爬机制，请求若没有headers就会报错。可以通过chrome浏览器的F12-network查看request的headers，将该网页的headers信息复制下来使用。

05

使用 Python 爬取网页数据

urllib 是 Python 內建的 HTTP 库, 使用 urllib 可以只需要很简单的步骤就能高效采集数据; 配合 Beautiful 等 HTML 解析库, 可以编写出用于采集网络数据的大型爬虫;

01

爬虫入门篇(上手即用)

可以通过chrome浏览器的F12-network查看request的headers，将该网页的headers信息复制下来使用。

06

【杂谈】爬虫基础与快速入门指南

今天给大家分享一下网络爬虫的基础知识，以及一些优秀的开源爬虫项目。网络爬虫主要是我们在面对新的任务，但自己又没有数据的时候，获取自己想要的数据的一种手段。因此我们有必要掌握一定的爬虫知识，从而更好的准备训练数据集。

01

Python接口测试之urllib.parse.urlencode

今天将的接口测试中常见的一种请求数据类型，key=value形式，并且以urlencode编码方式去请求。可能有些人从未遇到过，因为如果接口没有这样定义或解析，是不需要这样操作。

03

python学习三——urllib.request.urlopen()学习

因为python3.6自带的urllib库，所以我们也不用再安装了，直接使用就好了。urllib库有如下模块

02

python接口自动化（十五）--参数关联接口（详解）

我们用自动化新建任务之后，要想接着对这个新建任务操作，那就需要用参数关联了，新建任务之后会有一个任务的Jenkins-Crumb，获取到这个Jenkins-Crumb，就可以通过传这个任务Jenkins-Crumb继续操作这个新建的任务。

04

Python爬虫入门(二)

上一篇文章大概的讲解了 Python 爬虫的基础架构，我们对 Python 爬虫内部运行流程有了一定的理解了，我们这节将用一些简单的 Python 代码实现Python 爬虫架构的 URL 管理器、网页下载器和网页解析器。 URL 管理器上篇文章我们已经说了，URL 管理器是用来管理待抓取的 URL 和已抓取的 URL，作为一只聪明的爬虫，我们当然应该会选择跳过那些我们已经爬取过的 URL ，这不仅是为了防止重复抓取，也为了防止一些循环抓取的问题，URL 间的互相调用会导致爬虫的无限死循环抓取。 URL

07

使用Python下载文件的简单示例

在本教程中，您将学习如何使用不同的Python模块从Web上下载文件。还可以下载常规文件、网页、Amazon S3和其他来源。

03

【Python爬虫】使用request和xpath爬取高清美女图片

urllib.request 是 Python 标准库中的一个模块，它提供了用于打开和读取 URLs（统一资源定位符）的接口。通过使用这个模块，你可以很容易地发送 HTTP 和 HTTPS 请求，并处理响应。以下是对 urllib.request 的简要介绍：

01

Python中操作HTTP请求的urllib模块详解

urllib 是 Python 标准库中用于网络请求的库。该库有四个模块，分别是urllib.request，urllib.error，urllib.parse，urllib.robotparser。

04

使用 Python 爬取网页数据

urllib 是 Python 內建的 HTTP 库, 使用 urllib 可以只需要很简单的步骤就能高效采集数据; 配合 Beautiful 等 HTML 解析库, 可以编写出用于采集网络数据的大型爬虫;

03

初识 Python 网络请求库 urllib

urllib 是 Python 自带的网络请求标准库，包含了多个处理 URL 功能的模块。

04

Python 学习笔记

安装插件 Python （就叫 Python），输入如下命令，或直接在扩展里搜索。

02

python3中urlopen_Python3 urlopen()用法示例[通俗易懂]

对python这个高级语言感兴趣的小伙伴，下面一起跟随编程之家 jb51.cc的小编两巴掌来看看吧！

01

54. Python 爬虫（3）

如果已经知道cookie，或者说你是通过抓包获取到的cookie，直接放在header的信息中直接登陆就可以；

01

Python之urllib爬虫-request模块和parse模块详解

urllib是Python中用来处理URL的工具包，源码位于/Lib/下。它包含了几个模块：用于打开及读写的urls的request模块、由request模块引起异常的error模块、用于解析urls的parse模块、用于响应处理的response模块、分析robots.txt文件的robotparser模块。

03

32行代码实现微信聊天机器人

在智能手机无所不能的今天，聊天机器人大家并不陌生。语音、文字的，随口都能说出几个。记得最早火起来的，当属人人网上的小黄鸡了吧，那个@小黄鸡风靡一时的时代，如今随着人人网一起光影渐去，令人唏嘘。而那些无聊、逗趣、迷茫的懵懂时光，却历久弥新…… 今天我们就自己来打造一个微信聊天机器人，给大家带来点乐子哈。借助别人已经写好的Python微信调用库——itchat，我们真正要写的代码很少。在代码运行前cmd里运行pip install itchat即可自动下载安装这个库。 Python程序部分，直接上

06

Python3 标准库概览

本文基于以下教程： http://www.runoob.com/python3/python3-stdlib.html

02

Python-爬虫03：urllib.r

所谓网页抓取，就是把URL地址中指定的网络资源从网络流中抓取出来。在Python中有很多库可以用来抓取网页，我们先学习urllib.request。

02

扫码

添加站长进交流群

领取专属 10元无门槛券

手把手带您无忧上云

扫码加入开发者社群

相关资讯

热门标签

活动推荐

运营活动

活动名称

广告关闭