Python 使用 fake-useragent 库时报错的解决方法

UserAgent 就是用户代理,又叫报头,是一串字符串,相当于浏览器的身份证号,在利用爬虫爬取网站数据时,频繁更换它可以避免触发相应的反爬机制

之前的文章介绍过第三方模块库 fake-useragent,之前的文章:Python爬虫常用的小技巧-伪造随机的User-Agent

安装

pip install fake-useragent

用法

引入,生成实例:

from fake_useragent import UserAgent
ua = UserAgent()

这篇是解决一下我在使用直接写的 python 文件时,模块库报错了

报错信息如下:

fake_useragent.errors.FakeUserAgentError: Maximum amount of retries reached

解决方法如下:

如果不希望缓存数据库或不需要可写文件系统:

ua = UserAgent(cache=False)

如果不想使用宿主缓存服务器,可以禁用服务器缓存:

ua = UserAgent(use_cache_server=False)

如果以上方法均报错,执行:

ua = UserAgent(verify_ssl=False)

由于 fake-useragent 库维护的 user-agent 列表存放在在线网页上

过低版本依赖的列表网页可能就会报 403

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏PhpZendo

深入浅出 Laravel 路由执行原理

可以说几乎所有的框架都会涉及到「路由」的处理,简单一点讲就将用户请求的 url 分配到对应的处理程序。

30130
来自专栏IT笔记

JAVA中CAS原理详解

在JDK 5之前Java语言是靠synchronized关键字保证同步的,这会导致有锁 锁机制存在以下问题: 在多线程竞争下,加锁、释放锁会导致比较多的上下文切...

69780
来自专栏安富莱嵌入式技术分享

【RL-TCPnet网络教程】第13章 RL-TCPnet之TCP服务器

本章节为大家讲解RL-TCPnet的TCP服务器实现,学习本章节前,务必要优先学习第12章TCP传输控制协议基础知识。有了这些基础知识之后,再搞本章节会有事半功...

14530
来自专栏Fundebug

Mocha浏览器测试入门教程

在玩转Node.js单元测试博客中,我介绍了测试框架Mocha,对后端Node.js代码进行测试。在这篇博客,我将介绍如何使用Mocha在浏览器中测试JavaS...

32350
来自专栏Python中文社区

Python网络编程中的套接字名和DNS解析

这一次要讲的是套接字名和DNS,并且还会涉及到网络数据的发送接受和网络错误的发生和处理。下面说套接字名,在创建和部署每个套接字对象时总共需要做5个主要的决定,主...

44970
来自专栏晓晨的专栏

ASP.NET Core 使用UrlFirewall对请求进行过滤

15720
来自专栏破晓之歌

vue中axios处理http发送请求的示例(Post和get)

axios中文文档:https://github.com/mzabriskie/axios#using-applicationx-www-form-urlenc...

32330
来自专栏SDNLAB

第五届SDN大赛初赛部分试题解题思路:基于ONOS的路径反转实现

作者简介:周正强,北京邮电大学未来网络实验室在读研究生,个人邮箱:857538065@qq.com

25330
来自专栏小筱月

Java web 前端面试知识点总结

耦合性:也称块间联系。指软件系统结构中各模块间相互联系紧密程度的一种度量。模块之间联系越紧密,其耦合性就越强,模块的独立性则越差。模块间耦合高低取决于模块间接口...

22820
来自专栏飞雪无情的博客

一个简单的Golang实现的Socket5 Proxy

前两天,使用Golang实现了一个简单的HTTP Proxy,具体实现参见 http://www.flysnow.org/2016/12/24/golang-h...

19140

扫码关注云+社区

领取腾讯云代金券