专栏首页我爱编程Scrapy 中设置随机 User-Agent

Scrapy 中设置随机 User-Agent

安装scrapy-fake-useragent包

scrapy-fake-useragent包官网:https://pypi.org/project/scrapy-fake-useragent/ 安装: pip install scrapy-fake-useragent

使用

DOWNLOADER_MIDDLEWARES = {
    'scrapy.downloadermiddlewares.useragent.UserAgentMiddleware': None, # 关闭默认方法
    'scrapy_fake_useragent.middleware.RandomUserAgentMiddleware': 400, # 开启
}

这里选用 http://httpbin.org/get 作为测试网站 测试结果:

本文参考自高级农名工:https://www.makcyun.top/web_scraping_withpython14.html

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 关于 Really Simple SSL 插件的使用笔记

    首先,在插件 Really Simple SSL 的默认配置里,插件本身是自带301重导向到 https 设定的。 其次也默认内部的 WordPress 30...

    林清猫耳
  • Day1爬虫原理

    爬虫基本流程 发起请求 通过HTTP库向目标站点发起请求,即发送一个Request,请求可以包含额外的headers等信息,等待服务器响应。 获取响应内容 如果...

    林清猫耳
  • Flask+Redis维护代理池

    林清猫耳
  • scrapy常用命令

    IT故事会
  • 华为备胎联发科转正

    近日,Canalys、IDC、Counterpoint三家权威调研机构得出一致结论:华为首次超越三星,在2020年第二季度成为全球出货量最高的手机厂商。在波谲云...

    金融外参
  • 通过实例说明机器学习如何处理歧义

    在机器学习和人工智能的世界中,遇到的每个独特的现实世界问题都有其自身的影响和危险。尽管采用了所有有效的技术,但有时很难取代诸如“不确定性”的简单因素。例如,在图...

    AiTechYun
  • 你懂什么叫IPv4么?

    近年来Internet呈指数级的飞速发展,导致IPv4地址空间几近耗竭。IP地址变得越来越珍稀,迫使许多企业不得不使用NAT将多个内部地址映射成一个公共IP地址...

    葆宁
  • 【iCDO数据掌门人】专访Datatist宋碧莲:AI和用户运营如何结合?

    AI已经成为一众互联网公司的核心主攻,但谈起具体的应用,大部分时候,我们并没有听到太多让人信服的回答,而核心团队来自硅谷的Datatist想要从用户运营的角度,...

    iCDO互联网数据官
  • 技术分享 | MySQL 字段长度限制的计算方法

    之前在《MySQL Text 字段的限制》一文中讲过了关于 MySQL 在 Server 层和 InnoDB 层的限制,但是限制的算法没有详细展开,这里进行补充...

    爱可生开源社区
  • IT的移动宿命,谁都不愿第一个阵亡

    如果不是身处这个圈子,你是无法体会IT的进展是以秒为单位的进化,所有在世界上广义的技术领域在IT技术前只能是小学生,400万人群的圈子创造了全球3万亿美元的市场...

    人称T客

扫码关注云+社区

领取腾讯云代金券