首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
社区首页 >问答首页 >python请求的超时。获取整个响应

python请求的超时。获取整个响应

提问于 2018-03-15 19:00:43
回答 2关注 0查看 725

我正在收集网站列表上的统计数据,为了简单起见,我正在使用请求。这是我的代码:

代码语言:txt
AI代码解释
复制
data=[]
websites=['http://google.com', 'http://bbc.co.uk']
for w in websites:
    r= requests.get(w, verify=False)
    data.append( (r.url, len(r.content), r.elapsed.total_seconds(), str([(l.status_code, l.url) for l in r.history]), str(r.headers.items()), str(r.cookies.items())) )

现在,我想requests.get在10秒后超时,这样循环就不会卡住。

回答 2

流浪的法师斗篷

回答已采纳

发布于 2018-03-16 03:45:17

使用事件怎么样?如果您想在10秒后超时请求,即使接收到数据,此片段也适用于您:

代码语言:txt
AI代码解释
复制
import requests
import eventlet
eventlet.monkey_patch()

with eventlet.Timeout(10):
    requests.get("http://ipv4.download.thinkbroadband.com/1GB.zip", verify=False)

人生的旅途

发布于 2018-03-16 04:12:19

设置超时参数:

代码语言:txt
AI代码解释
复制
r = requests.get(w, verify=False, timeout=10)

只要你不设定stream=True在该请求下,这将导致调用requests.get()如果连接超过10秒,或者服务器发送数据时间不超过10秒,则超时。

和开发者交流更多问题细节吧,去 写回答
相关文章
aiohttp 异步http请求-6.ClientTimeout 整个会话超时
ClientTimeout 是设置整个会话的超时时间,默认情况下是300秒(5分钟)超时。
上海-悠悠
2022/04/26
4.5K0
aiohttp 异步http请求-6.ClientTimeout 整个会话超时
Python爬虫技术系列-01请求响应获取-urllib库
参考连接: https://zhuanlan.zhihu.com/p/412408291
用户2225445
2023/10/16
3350
Python爬虫技术系列-01请求响应获取-urllib库
【原创】Selenium获取请求头、响应头
selenium是没有办法直接获取请求的详细Headers,很多时候我们我们是需要提取相关的参数来做进一步使用比如token之类的,这里推荐使用一个SeleniumWire模块来达到目的
拉灯的小手
2022/05/09
6.2K2
响应超时问题分析
调用分词服务的服务发现超时并告警,查看分词服务被调耗时发现一切正常;本机手动请求发现确实存在响应慢的问题。
刘斌
2019/03/11
2.1K0
响应超时问题分析
Python网页请求超时如何解决
在进行网络爬虫项目时,我们经常需要发送大量的请求来获取所需的数据。然而,由于网络环境的不稳定性,请求可能会因为超时而失败。请求超时可能导致数据获取不完整,影响爬虫的效率和准确性。此外,频繁的请求超时可能会被目标网站视为恶意行为,导致IP被封禁或其他限制。为了确保数据的完整性和准确性,我们需要处理这些超时问题。
小白学大数据
2023/09/11
3760
python爬虫(二)_HTTP的请求和响应
HTTP和HTTPS HTTP(HyperText Transfer Protocol,超文本传输协议):是一种发布和接收HTML页面的方法 HTTPS(HyperText Transfer Protocol over Secure Socket Layer)简单讲是HTTP的安全版,在HTTP下加入SSL层。 SSL(Secure Socket Layer安全套接层)主要用于web的安全传输协议,在传输层对网络连接进行加密,保障在Internet上数据传输的安全。 HTTP的端口号为80 HTTPS
用户1174963
2018/01/17
2.8K0
python爬虫(二)_HTTP的请求和响应
Python-数据挖掘-请求与响应
向 HTML 网页提交 POST 请求的方法,对应于 HTTP 的 POST 请求方法。
小团子
2019/07/18
7390
Python-数据挖掘-请求与响应
web页面请求的整个过程_HTTP的请求方法
一个HTTP请求报文由请求行(request line)、请求头部(headers)、空行(blank line)和请求数据(request body)4个部分组成。
全栈程序员站长
2022/08/03
9350
web页面请求的整个过程_HTTP的请求方法
[819]python随机获取请求头
安装包 pip install fake_useragent pip install faker 用法 # -*- coding:utf-8 -*- # #可以随机获取一个user-agent头 from fake_useragent import UserAgent #pip install fake_useragent ua = UserAgent() user_agent=ua.random print(user_agent) # #使用Faker库随机生成虚假header from fake
周小董
2020/05/29
1.8K0
Selenium爬虫-获取浏览器Network请求和响应
自从发现 Selenium 这块新大陆后,许多异步加载、js加密、动态Cookie等问题都变得非常简单,大大简化了爬虫的难度。
jhao104
2019/12/05
28.8K5
精讲响应式WebClient第5篇-请求超时设置与异常处理
本文来为大家介绍一下,当WebClient请求发生异常的时候,该如何处理。为了讲解异常处理,我们需要先制造出异常,所以我们先为大家介绍:请求超时时长的设置。
字母哥博客
2020/09/23
3.2K0
精讲响应式WebClient第5篇-请求超时设置与异常处理
修改Apache的超时设置,解决长连接请求超时问题
某日,组内后台开发找到我,问我们的 WEB 服务器超时设置是多少。他反馈的问题是,有一个 VLAN 切换任务 cgi 接口经常返回 504 网关超时错误,要我分析解决下。 我问了一下,得知这个请求遇到
张戈
2018/03/21
15.8K0
修改Apache的超时设置,解决长连接请求超时问题
Zuul超时问题,微服务响应超时,zuul进行熔断
是这样的,今天碰到了微服务响应超时问题,而且超时时间特别短,2秒就超时,zuul就走熔断了。 我采用zuul作为网关,根据不同的访问路径进行微服务的路由,譬如有个服务是user,我访问user服务的某个接口时,该接口执行时间很慢,2秒多,然后还没执行完,zuul就执行熔断了,进入了我配好的ZuulFallbackProvider里。所以来研究一下zuul的超时处理。 前提,zuul和微服务都已经注册到了eureka中,zuul采用service-id来进行路由,当访问/user时进入到user服务中。而且,已经为user服务设置好了zuul的熔断,譬如已经写好了UserFallbackProvider implements ZuulFallbackProvider。我特别设置了模拟超时的接口,就是搞几个接口sleep不同的时间。
天涯泪小武
2019/01/17
3.1K0
Django的请求与响应
request.META: 请求中的元数据(消息头) request.META['REMOTE_ADDR']可以请求到客户端地址,当然你可以请求META中的任何信息.
Yuou
2022/09/26
6210
如何快速获取抓包文件中HTTP请求的响应时间
在日常的工作中经常会会遇到一些请求性能问题,原因可发生在请求的每一个环节:客户端,网络,服务端,这里我们通常需要通过抓包来定位问题出在哪个环节。本文简单介绍一个小技巧,可以快速列出所有HTTP请求的header用时,进而找到耗时异常的请求,再进一步分析问题原因。
苏东
2020/07/08
11.9K0
如何快速获取抓包文件中HTTP请求的响应时间
ZooKeeper源码分析:Quorum请求的整个流程
Quorum请求是转发给Leader处理,并且需要得一个Follower Quorum确认的请求。这些请求包括:
星哥玩云
2022/07/04
6380
ZooKeeper源码分析:Quorum请求的整个流程
Python爬虫 | 认知爬虫之请求与响应
学习Python爬虫不仅充满趣味性,并垫基Python编程语言功底。可以说是入门IT行业的一条捷径,达到娱乐、学习二合一。喜欢看小说,搞笑图片?找工作还在一条一条筛选企业需求!做运营,做数据分析没有参考数据!业余时间想接个爬虫小需求挣个“零花钱”,爬虫帮你快速搞定。
数据山谷
2020/11/06
1.8K0
Servlet请求和响应
在Java Web中Servlet、请求和响应是最基本的三个对象,在Web容器的管理下,这三者能够完成基本的HTTP请求处理。
阿杜
2018/08/06
9480
Servlet请求和响应
无请求不响应?
前几天我们学习了HttpServletResponse,今天就让我们了解一下HttpServletRequest。和HttpServletResponse一样,在service方法中的request的类型是ServletRequest,而doGet/doPost方法的request的类型是HttpServletRequest,HttpServletRequest是ServletRequest的子接口,功能和方法更加强大。
阿Q说代码
2021/05/13
1.2K0
无请求不响应?
axios请求超时,设置重新请求的完美解决方法
本文作者:IMWeb ssttm169 原文出处:IMWeb社区 未经同意,禁止转载 自从使用Vue2之后,就使用官方推荐的axios的插件来调用API,在使用过程中,如果服务器或者网络不稳定掉
IMWeb前端团队
2019/12/03
5.7K0
axios请求超时,设置重新请求的完美解决方法

相似问题

iOS MultipartUploadVodFile 上传请求超时?

1980

获取签名超时?

41.2K

实验二获取对话失败,登录请求没有包含会话响应?

31.6K

实验二获取对话失败,显示登录请求没有包含会话响应?

81.9K

中国香港服务器经常请求超时?

1547
相关问答用户
腾讯云TDP | TDP会员擅长3个领域
到家集团 | 技术VP擅长5个领域
腾讯云TDP | KOL擅长5个领域
添加站长 进交流群

领取专属 10元无门槛券

AI混元助手 在线答疑

扫码加入开发者社群
关注 腾讯云开发者公众号

洞察 腾讯核心技术

剖析业界实践案例

扫码关注腾讯云开发者公众号
领券
社区富文本编辑器全新改版!诚邀体验~
全新交互,全新视觉,新增快捷键、悬浮工具栏、高亮块等功能并同时优化现有功能,全面提升创作效率和体验
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档
查看详情【社区公告】 技术创作特训营有奖征文