前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >Python网络爬虫中重新请求,请问有什么比较好的解决方法?

Python网络爬虫中重新请求,请问有什么比较好的解决方法?

作者头像
前端皮皮
发布2022-08-17 16:32:50
4740
发布2022-08-17 16:32:50
举报

大家好,我是皮皮。

一、前言

前几天在Python钻石群有个叫【某嘟】的粉丝问了一个关于Python网络爬虫中重新请求的问题,这里拿出来给大家分享下,一起学习。

二、解决过程

这里【D I Y】大佬给了一个思路,确实可行。

不过后来她自己又找到了一个更好的方法,找到一个HTTPAdapter可以实现超时重试,大概用法如下:

代码语言:javascript
复制
from requests.adapters import HTTPAdapter
req = requests.Session()
req.mount('https://', HTTPAdapter(max_retries=3))
response = req.get("https://weibo.com/ajax/statuses/hot_band", timeout=10)
最后判断数据 len(hot_dict.get("content")) == 50 
大概是可以的。

当时看到这里,也想起来前几天【瑜亮老师】分享的那个题目,关于Python网络爬虫请求的时候,大文件的抓取判断。之前也写过文章分享,这里就不再赘述了,感兴趣的小伙伴,可以前往:

三、总结

大家好,我是皮皮。这篇文章基于粉丝提问,针对Python网络爬虫中重新请求的问题,给出了具体说明和演示,文章提出了两个解决思路,顺利地帮助粉丝解决了问题!

最后感谢粉丝【某嘟】提问,感谢【某嘟】、【D I Y】大佬给出的代码和思路支持,感谢粉丝【PI】、【德善堂小儿推拿-瑜亮老师】等人积极参与学习交流。

本文参与 腾讯云自媒体分享计划,分享自微信公众号。
原始发表:2022-03-25,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 Python共享之家 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体分享计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • 一、前言
  • 二、解决过程
  • 三、总结
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档