前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >Python 使用 fake-useragent 库时报错的解决方法

Python 使用 fake-useragent 库时报错的解决方法

作者头像
沈唁
发布2018-12-05 14:40:10
3.1K0
发布2018-12-05 14:40:10
举报
文章被收录于专栏:沈唁志沈唁志

UserAgent 就是用户代理,又叫报头,是一串字符串,相当于浏览器的身份证号,在利用爬虫爬取网站数据时,频繁更换它可以避免触发相应的反爬机制

之前的文章介绍过第三方模块库 fake-useragent,之前的文章:Python爬虫常用的小技巧-伪造随机的User-Agent

安装

代码语言:javascript
复制
pip install fake-useragent

用法

引入,生成实例:

代码语言:javascript
复制
from fake_useragent import UserAgent
ua = UserAgent()

这篇是解决一下我在使用直接写的 python 文件时,模块库报错了

报错信息如下:

代码语言:javascript
复制
fake_useragent.errors.FakeUserAgentError: Maximum amount of retries reached

解决方法如下:

如果不希望缓存数据库或不需要可写文件系统:

代码语言:javascript
复制
ua = UserAgent(cache=False)

如果不想使用宿主缓存服务器,可以禁用服务器缓存:

代码语言:javascript
复制
ua = UserAgent(use_cache_server=False)

如果以上方法均报错,执行:

代码语言:javascript
复制
ua = UserAgent(verify_ssl=False)

由于 fake-useragent 库维护的 user-agent 列表存放在在线网页上

过低版本依赖的列表网页可能就会报 403

本文参与 腾讯云自媒体分享计划,分享自作者个人站点/博客。
原始发表:2018-11-01,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体分享计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • 安装
  • 用法
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档