开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

使用urllib而不是http.client登录网站

是因为urllib是Python标准库中的一个模块，提供了一系列用于处理URL的函数和类，包括发送HTTP请求、处理HTTP响应等功能。相比之下，http.client是Python标准库中的另一个模块，也提供了HTTP相关的功能，但相对较低级，使用起来相对复杂一些。

使用urllib登录网站的一般步骤如下：

导入urllib库：在Python代码中首先导入urllib库，以便使用其中的函数和类。
构建请求：使用urllib库中的urllib.request模块，构建一个HTTP请求对象。可以设置请求的URL、请求方法（如GET、POST）、请求头部信息等。
发送请求：使用urllib库中的urllib.request模块，发送构建好的HTTP请求对象。可以使用urllib.request.urlopen()函数发送请求，并获取服务器返回的响应。
处理响应：根据需要，可以对服务器返回的响应进行处理。可以获取响应的状态码、响应头部信息、响应体等。

下面是urllib库中常用的一些函数和类：

urllib.request.urlopen(url, data=None, timeout=socket._GLOBAL_DEFAULT_TIMEOUT, *, cafile=None, capath=None, cadefault=False, context=None): 打开一个URL，返回一个类似文件的对象，可以用于读取服务器返回的响应。
urllib.request.Request(url, data=None, headers={}, origin_req_host=None, unverifiable=False, method=None): 构建一个HTTP请求对象，可以设置请求的URL、请求方法、请求头部信息等。
urllib.parse.urlencode(query, doseq=False, safe='', encoding=None, errors=None, quote_via=quote_plus): 将一个字典或者元组列表转换为URL编码的字符串。
urllib.parse.urljoin(base, url, allow_fragments=True): 将一个基础URL和一个相对URL拼接成一个绝对URL。
urllib.error.URLError: 当发生URL相关的错误时，会抛出该异常。
urllib.parse.urlparse(urlstring, scheme='', allow_fragments=True): 解析URL字符串，返回一个包含URL各个组成部分的元组。
urllib.parse.urlunparse(parts): 将一个包含URL各个组成部分的元组，拼接成一个完整的URL字符串。
urllib.parse.urlsplit(urlstring, scheme='', allow_fragments=True): 解析URL字符串，返回一个包含URL各个组成部分的命名元组。
urllib.parse.urlunsplit(parts): 将一个包含URL各个组成部分的命名元组，拼接成一个完整的URL字符串。
urllib.parse.quote(string, safe='/', encoding=None, errors=None): 对字符串进行URL编码。
urllib.parse.unquote(string, encoding='utf-8', errors='replace'): 对URL编码的字符串进行解码。
urllib.parse.urlencode(query, doseq=False, safe='', encoding=None, errors=None, quote_via=quote_plus): 将一个字典或者元组列表转换为URL编码的字符串。
urllib.parse.parse_qs(qs, keep_blank_values=False, strict_parsing=False, encoding='utf-8', errors='replace'): 解析URL编码的查询字符串，返回一个字典。
urllib.parse.parse_qsl(qs, keep_blank_values=False, strict_parsing=False, encoding='utf-8', errors='replace'): 解析URL编码的查询字符串，返回一个列表。
urllib.parse.urldefrag(urlstring, *, allow_fragments=True): 解析URL字符串，返回一个去除了片段标识符的URL。

使用urllib登录网站的优势是：

简单易用：urllib库提供了一系列函数和类，使得发送HTTP请求、处理HTTP响应等操作变得简单易用。
Python标准库：urllib是Python标准库中的一部分，无需额外安装，可以直接在Python环境中使用。
跨平台性：由于urllib是Python标准库，因此可以在不同的操作系统上使用，具有较好的跨平台性。
功能丰富：urllib提供了丰富的功能，可以满足大部分的HTTP请求和响应处理需求。

使用urllib登录网站的应用场景包括但不限于：

网络爬虫：urllib可以用于发送HTTP请求，获取网页内容，进而进行数据抓取和分析。
API调用：urllib可以用于调用各种API接口，获取数据或进行数据上传。
网络数据交互：urllib可以用于与服务器进行数据交互，如登录、注册、提交表单等操作。
网络资源下载：urllib可以用于下载网络上的各种资源，如图片、音视频文件等。

腾讯云相关产品和产品介绍链接地址：

腾讯云CDN（内容分发网络）：https://cloud.tencent.com/product/cdn
腾讯云API网关：https://cloud.tencent.com/product/apigateway
腾讯云云服务器（CVM）：https://cloud.tencent.com/product/cvm
腾讯云对象存储（COS）：https://cloud.tencent.com/product/cos
腾讯云数据库（TencentDB）：https://cloud.tencent.com/product/cdb
腾讯云人工智能（AI）：https://cloud.tencent.com/product/ai
腾讯云物联网（IoT）：https://cloud.tencent.com/product/iot
腾讯云区块链（BCS）：https://cloud.tencent.com/product/bcs
腾讯云音视频处理（VOD）：https://cloud.tencent.com/product/vod
腾讯云移动开发（MPS）：https://cloud.tencent.com/product/mps

请注意，以上链接仅供参考，具体产品和服务详情请参考腾讯云官方网站。

相关搜索:Android:使用facebook应用程序登录，而不是移动登录页面 Jhipster登录页面而不是主页 laravel:打开登录模式，而不是重定向到登录页面 MediaWiki:获取"readapidenied“错误，而不是登录令牌 onBackPressed()转到主屏幕，而不是登录页 python使用urllib解析xml网站 Spring Security下载文件而不是登录使用<button>而不是<a>使用django提供的登录视图，而不是自定义登录视图使用urllib/urllib2获取会话cookie并使用它登录到最终页面

相关搜索:

页面内容是否对你有帮助？

有帮助

没帮助

相关·内容

发送短信

发送短信也是项目中常见的功能，网站的注册码、验证码、营销信息基本上都是通过短信来发送给用户的。在下面的代码中我们使用了互亿无线短信平台（该平台为注册用户提供了50条免费短信以及常用开发语言发送短信的demo，可以登录该网站并在用户自服务页面中对短信进行配置）提供的API接口实现了发送短信的服务，当然国内的短信平台很多，读者可以根据自己的需要进行选择（通常会考虑费用预算、短信达到率、使用的难易程度等指标），如果需要在商业项目中使用短信服务建议购买短信平台提供的套餐服务。

03

python 3 处理HTTP 请求的包

http: https://docs.python.org/3/library/http.html

02

[接口测试 - 基础篇] 13 写在接口测试基础篇完结时

前言连续日更12天，把接口测试基础篇基本更新完了，今天总结一下。为什么要连续写10余篇基础？希望能帮助大家把基础的面稍微扩展下以简单的方式让大家了解下可能要用的的一些基本的技术当然也希望大家能在简单的东西上进行自我扩展接下来怎么写？ Python3接口测试系列，早在7月底、8月初就把大纲初步的写好了，下面将从以下几个方面继续写。 python http.client模块相关知识及其应用于http接口测试实例 python urllib包相关知识及其应用于http接口测试实例 python url

07

Python 学习之面向对象「下」

阅读文本大概需要 5 分钟动态添加属性和方法 # 动态给实例添加属性和方法，不过只针对当前对象 from types import MethodType class Person(object): pass p = Person() # 动态语言，动态添加属性和方法 p.name = "Mark" def say(self): print(self.name) say(p) p.speak = say p.speak(p) p.speak = MethodTy

03

解决pycharm不能自动补全第三方库的函数和属性问题

因为python是动态语言，变量类型是可变的，所以不管pycharm还是sublime都做不到准确的类型推断。

02

python发送短信

接口类型：互亿无线触发短信接口，支持发送验证码短信、订单通知短信等。账户注册：请通过该地址开通账户http://sms.ihuyi.com/register.html 注意事项：（1）调试期间，请用默认的模板进行测试，默认模板详见接口文档；（2）请使用用户名及 APIkey来调用接口，APIkey在会员中心可以获取；（3）该代码仅供接入互亿无线短信接口参考使用，客户可根据实际需要自行编写； import http.client import urllib host = "106.ihuyi.co

01

[731]python包py2--py3改名

python3把httplib改了名字，对应的库是http.client https://docs.python.org/3.4/library/http.client.html https://docs.python.org/2/library/httplib.html

01

python 网络爬虫入门（一）———第一个python爬虫实例

最近两天学习了一下python，并自己写了一个网络爬虫的例子。 python版本: 3.5 IDE : pycharm 5.0.4 要用到的包可以用pycharm下载： File->Default Settings->Default Project->Project Interpreter 选择python版本并点右边的加号安装想要的包

01

[接口测试 - http.client篇] 15 常用API说明及基本的示例

概述在http.client模块中，我们主要使用HTTPConnection和HTTPResponse对象来处理整个HTTP交互过程，所以我们接下里主要介绍以下内容: HTTPConnection HTTPResponse 基本示例 HTTPConnection 先看一下HTTPConnection初始化定义函数 HTTPConnection(host, port=None, [timeout, ] source_address=None) 参数说明 host: 目标服务器IP或url port: 目标服

07

Python-数据挖掘-urllib库

urllib 库是 Python 内置的 HTTP 请求库，它可以看作处理 URL 的组件集合。

02

Python发送手机动态验证码代码实例

首先进入http://user.ihuyi.com/nav/sms.html互亿天线，并且注册，进入首页

03

python3标准库httpclient使用

发布者：全栈程序员栈长，转载请注明出处：https://javaforall.cn/152671.html原文链接：https://javaforall.cn

03

用Python3薅"百度翻译"的羊毛

最近博主在https://unsplash.com搜索免费可商用图片的时候, 发现...

03

python3.7.4 百度翻译api

import random import hashlib import http.client, urllib.parse import json class baidu_trans: # 接口地址 domain = 'api.fanyi.baidu.com' uri = "/api/trans/vip/translate" # 密钥相关 app_id = "" app_screct = "" salt = random.randint(32768,

01

[775]小象学院--爬虫知识点总结

HTTP是一个请求<-> 响应模式的典型范例，即客户端向服务器发送一个请求信息，服务器来响应这个信息。在老的HTTP版本中，每个请求都将被创建一个新的客户端-> 服务器的连接，在这个连接上发送请求，然后接收请求。这样的模式有一个很大的优点就是，它很简单，很容易理解和编程实现；它也有一个很大的缺点就是，它效率很低，因此Keep-Alive被提出用来解决效率低的问题。

02

python 爬虫脚本crawl.py

import io import formatter from html.parser import HTMLParser import http.client import os import sys import urllib.request, urllib.parse, urllib.error

03

Go 语言网络编程系列（三）—— HTTP 编程篇：客户端如何发起请求

通过前面介绍的 net.Dial 或 net.DialTimeout 函数来访问基于 HTTP 协议的网络服务是完全没有问题的，因为 HTTP 协议是基于 TCP/IP 协议栈的。不过没问题不代表很方便，如果通过 net.Dial 函数进行 HTTP 编程，HTTP 状态码、报文头部和实体部分处理起来是相当繁琐的（关于 HTTP 协议的更多细节可以阅读网络协议里的应用层协议来详细了解），因此 Go 语言标准库内置了 net/http 包来涵盖 HTTP 客户端和服务端的具体实现，通过 net/http 包我们可以更方便快捷地编写 HTTP 客户端和服务端程序。

02

使用https双端互相认证实现设备公网接入

在公网环境下，设备接入要保证安全性，server端既要验证设备的身份，设备也要验证server端的身份，这时就需要做双端互相认证。

02

如何判断代理IP使用成功

当爬虫程序或采集软件配置代理之后，如何判断代理IP使用成功了呢？可以使用查询IP地址这类网站进行协助，例如使用代理IP去搜索百度IP或者访问https://www.ip138.com，这类网站会将HTTP请求的来源IP获取并通过HTTP内容返回，因此如果代理IP转发成功，目标网站返回的内容就应该是代理IP地址。一般会有下面几种情况： 1、代理直接转发只要将返回的IP地址复制进入百度IP或者https://www.ip138.com进行检查，如果是爬虫服务器的IP地址表示代理IP转发失败，否则就表示代理IP转发成功。 2、代理多次转发查询IP地址网站返回的内容，既不是爬虫服务器的IP地址，也不是爬虫程序或采集软件直接使用的代理IP地址，而是经过代理IP多次转发后，最后请求IP地址网站的代理IP地址。 3、代理自动转发部分代理IP产品，会根据爬虫程序或采集软件的每个HTTP请求，自动分配不同的代理IP进行转发，出现每一次查询获取的IP地址都不一样，这样就能在数据采集的过程中，突破目标网站的IP限制行为。要注意这其中又会出现更复杂的情况是，部分IP查询网站会按照cookie等信息直接缓存返回内容，即使代理IP每次请求都会转发不同IP，这类IP查询网站也会返回重复的IP地址，造成代理IP自动转发失败的假象，下面提供demo 示例如下：

01

详解 python3 urllib

本文是爬虫系列文章的第一篇，主要讲解 Python 3 中的 urllib 库的用法。urllib 是 Python 标准库中用于网络请求的库。该库有四个模块，分别是urllib.request，urllib.error，urllib.parse，urllib.robotparser。其中urllib.request，urllib.error两个库在爬虫程序中应用比较频繁。那我们就开门见山，直接讲解这两个模块的用法。

01

python模拟新浪微博登陆功能(新浪微博爬虫)

有些网站设置了权限，只有在登录了之后才能爬取网站的内容，如何模拟登录，目前的方法主要是利用浏览器cookie模拟登录。浏览器访问服务器的过程在用户访问网页时，不论是通过URL输入域名或IP，还是点击链接，浏览器向WEB服务器发出了一个HTTP请求（Http Request），WEB服务器接收到客户端浏览器的请求之后，响应客户端的请求，发回相应的响应信息（Http Response），浏览器解析引擎，排版引擎分析返回的内容，呈现给用户。WEB应用程序在于服务器交互的过程中，HTTP请求和响应时发送的都是一

06

如何用python实现网站数据获取和处理

python的关于http网络请求的module有好些个，我们使用这些库来达到网络爬取或者完成RESTful API交换。这些库比较推荐的有urllib3，requests。这些库之所以流行有一些长处，比如说他们是AIOHTTP和HTTPX，还比如说requests库支持OAuth鉴权等等一些实用功能。像异步机制能并非发起多个请求，就很方便用来做网站爬取之类的工作。

01

14 源码初探及其工作机制分析

本文介绍了Python HTTP客户端库http.client的工作原理以及主要类、常量。http.client支持HTTP/1.1和HTTPS协议，通过不同的“状态”定义了HTTP客户的行为状态，管理维护着每一个的request和response。

00

用python实现接口测试（二、Jenkins接口测试）

下载安装jenkins，解压下载好的Jenkins并安装，然后就是一路next（可以更改自己的安装路径）。

03

Go每日一库之75：gorilla-schema

gorilla/schema 是 gorilla 开发工具包中用于处理表单的库。它提供了一个简单的方式，可以很方便地将表单数据转为结构体对象，或者将结构体对象转为表单数据。

04

[接口测试 - http.client篇] 14 源码初探及其工作机制分析

概述 http.client模块定义和实现了一系列类用于实现客户端HTTP和HTTPS协议。一句话说明： HTTP/1.1 client library 注：支持HTTP/1.1版本的协议 HTTPS的支持需要安装SSL才行 http.client工作流程下面我们看一下http.client工作流程机制，以便加深在原理的理解。 (null) | | HTTPConnection() 建立HTTP链接 v Idle | | putrequest() 准备请求内容

08

[接口测试 - http.client篇] 14 源码初探及其工作机制分析

概述 http.client模块定义和实现了一系列类用于实现客户端HTTP和HTTPS协议。一句话说明： HTTP/1.1 client library 注：支持HTTP/1.1版本的协议 HTTPS的支持需要安装SSL才行 http.client工作流程下面我们看一下http.client工作流程机制，以便加深在原理的理解。 (null) | | HTTPConnection() 建立HTTP链接 v Idle | | putrequest() 准备请求内容

04

python爬虫怎么翻页？

这段代码首先创建了一个http.Client对象，然后创建了一个GET请求，并设置了爬虫IP信息。然后，它发送了这个请求并读取了响应体。接着，它使用Gob进行序列化，并打印出结果。

06

Python + Tkinter 实现图形化机器翻译

Tkinter：Tkinter 模块(Tk 接口)是 Python 的标准 Tk GUI 工具包的接口 .Tk 和 Tkinter 可以在大多数的 Unix 平台下使用,同样可以应用在 Windows 和 Macintosh 系统里。Tk8.0 的后续版本可以实现本地窗口风格,并良好地运行在绝大多数平台中。

02

http超时设置 golang

golang提供的http get、post请求是没有设置超时的，但实现生产环境一般都需要设置超时时间。网上搜索，可以查询到通过设置http.Client中Transport的Dail函数，在自定义的Dail函数里面设置建立连接超时时长和发送接收数据超时： c := http.Client{ Transport: &http.Transport{ Dial: func(netw, addr string) (net.Conn, error) { c, err := ne

08

如何优雅的设计一个SDK

相信很多开发同学一定都听说过SDK，SDK全称Software Development Kit，即软件开发工具包。它是由硬件平台、操作系统或编程语言的制造商提供的一套工具，协助软件开发人员面向特定的平台、系统或编程语言创建应用。SDK经常被用于为特定的软件包、软件框架、硬件平台、操作系统等创建应用软件的开发工具的集合。

04

python img的操作

#获取截图 import sys import types # import url import http.client import time import datetime import u

02

解决requests 2.28.x版本SSL错误：证书验证失败

在使用requests 2.28.1版本时，我进行HTTP post传输报告负载时，由于SSL验证设置为True，请求失败，错误如下：(Caused by SSLError(SSLCertVerificationError(1, ‘[SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed: unable to get local issuer certificate (_ssl.c:1091)’)))。但是，当我将requests模块降级到2.27.1版本时，它能够成功工作。问题在于为什么2.27版本的请求能够成功，而2.28.1版本的请求会出现错误。可能是什么原因导致requests选择SSL证书的方式发生了变化？

04

技术讨论之Exchange后渗透分析

上回我们说到，通过ruler可以给已知用户名、口令的用户增加规则，从而在使用Outlook连接Exchange邮箱服务器的主机上做到任意代码执行。那么问题来了，如果不知道该用户的口令，能否控制他们的主机呢？

02

golang常用的http请求操作

Golang诞生已经超过十个年头了，发展得愈发完善，其简单方便的协程并发机制使得其在爬虫领域有着一定的天赋。

00

[代码与实例] 爬虫爬ooxx图嘿嘿

在这里还是要推荐下我自己建的 Python学习群:721195303，群里都是学Python的，如果你想学或者正在学习Python ，欢迎你加入，大家都是软件开发党，不定期分享干货（只有Python软件开发相关的），包括我自己整理的一份2021最新的Python进阶资料和零基础教学，欢迎进阶中和对Python感兴趣的小伙伴加入！ **以下内容无用，为本篇博客被搜索引擎抓取使用 (*￣︶￣)(*￣︶￣)(*￣︶￣)(*￣︶￣)(*￣︶￣)(*￣︶￣)(*￣︶￣)(*￣︶￣) python 是干什么的零基础学 python 要多久 python 为什么叫爬虫 python 爬虫菜鸟教程 python 爬虫万能代码 python 爬虫怎么挣钱 python 基础教程网络爬虫 python python 爬虫经典例子 python 爬虫 (*￣︶￣)(*￣︶￣)(*￣︶￣)(*￣︶￣)(*￣︶￣)(*￣︶￣)(￣︶￣)(￣︶￣) 以上内容无用，为本篇博客被搜索引擎抓取使用

02

[接口测试 - http.client篇] 14 源码初探及其工作机制分析

概述 http.client模块定义和实现了一系列类用于实现客户端HTTP和HTTPS协议。一句话说明： HTTP/1.1 client library 注：支持HTTP/1.1版本的协议 HTTPS的支持需要安装SSL才行 http.client工作流程下面我们看一下http.client工作流程机制，以便加深在原理的理解。 (null) | | HTTPConnection() 建立HTTP链接 v Idle | | putrequest() 准备请求内容

04

Go 每日一库之 gorilla/schema

gorilla/schema 是 gorilla 开发工具包中用于处理表单的库。它提供了一个简单的方式，可以很方便地将表单数据转为结构体对象，或者将结构体对象转为表单数据。

03

Python中操作HTTP请求的urllib模块详解

urllib 是 Python 标准库中用于网络请求的库。该库有四个模块，分别是urllib.request，urllib.error，urllib.parse，urllib.robotparser。

04

重拾python爬虫之urllib

学习一门技术，总是要踩好多坑，然后收货一大堆疑惑，这么多相似的方式该学哪个呢？外面公司常用的是哪个呢？就比如python爬虫，可以作为网络请求的方式有四种，按时间顺序排：

02

Golang笔记 6.1.1 HTTP 客户端

Go 内置的 net/http 包提供了最简洁的 HTTP 客户端实现，我们无需借助第三方网络通信库（比如 libcurl）就可以直接使用 HTTP 中用得最多的 GET 和 POST 方式请求数据。

02

非常好用的爬虫语言Go

我想很多人一开始写爬虫的时候都会选择python+request，其他还有很多其他语言可以选择，比如今天我们要讲的Go语言，接下来让我们来感受一下如何使用 Go 写爬虫。

04

一文带你搞懂GitHub OAuth（下）

通过OAuth，第三方应用程序可以在用户授权的情况下安全地访问GitHub上的数据，而不需要获取用户的GitHub凭据。

02

Go和JavaScript结合使用：抓取网页中的图像链接

在当今数字化时代，数据是金钱的源泉，对于许多项目和应用程序来说，获取并利用互联网上的数据是至关重要的。其中之一的需求场景是从网页中抓取图片链接，这在各种项目中都有广泛应用，特别是在动漫类图片收集项目中。

02

限定源端口访问目标

在渗透测试时，客户需要对我们的测试IP进行加白，但是此次客户要求精确到固定端口或者小范围端口（不能1-65535），根据以前的经验，默认是加白IP和全端口，因为代理建立连接使用的端口是随机的，所以这次算是从头查找资料总结一下各种指定源端口的方式。

03

夯实Python基础（7）

Python标准库，是Python程序员应该熟悉了解的又一个宝库。Python 标准库非常庞大，所提供的组件涉及范围十分广泛。简要描述如下：

03

Go操作腾讯云COS对象存储的简单使用案例

Golang：用于下载和安装 Go 编译运行环境，请前往 Golang 官网进行下载

08

Go 100 mistakes之意外的变量隐藏（variable shadowing）

变量的作用域是指它的可见性。换句话说，程序中的变量名在哪部分是有效的。在Go中，在一个块中声明的变量名称可以在其内部块中重新声明，这被称作变量隐藏（variable shadowing）。然而这种规则由很容易出现错误。

02

chromedp和Go语言相结合采集天涯社区

今天还是给大家带来采集天涯社区的一个代码示例，主要是用chromedp和Go语言相结合编写而成，相对比较复杂，主要对于进阶中的老手可能会有些帮助，让我们一起来看看，这段代码究竟难在哪里。

02

从零开发区块链应用(一)-golang配置文件管理工具viper

理解 HTTP 构建的网络应用只要关注两个端--客户端(client)和服务端(server)，两个端的交互来自 client 的 request，以及 server 端的 response。所谓的 http 服务器，主要在于如何接受 client 的 request，并向 client 返回 response。

01

扫码

添加站长进交流群

领取专属 10元无门槛券

手把手带您无忧上云

扫码加入开发者社群

相关资讯

热门标签

活动推荐

运营活动

活动名称

广告关闭