Scrapy 中设置随机 User-Agent
安装scrapy-fake-useragent包
scrapy-fake-useragent包官网：https://pypi.org/project/scrapy-fake-useragent/ 安装： pip install scrapy-fake-useragent
使用：
DOWNLOADER_MIDDLEWARES = {
'scrapy.downloadermiddlewares.useragent.UserAgentMiddleware': None, # 关闭默认方法
'scrapy_fake_useragent.middleware.RandomUserAgentMiddleware': 400, # 开启
}这里选用 http://httpbin.org/get 作为测试网站 测试结果：
本文参考自高级农名工：https://www.makcyun.top/web_scraping_withpython14.html
本文参与 腾讯云自媒体分享计划，分享自作者个人站点/博客。
原始发表：2019.02.16 ，如有侵权请联系 cloudcommunity@tencent.com 删除
评论
登录后参与评论
推荐阅读
目录