专栏首页desperate633Python爬虫之robots协议案例

Python爬虫之robots协议案例

网络爬虫有时候也会引发很多的问题

  • 由于编写的爬虫的性能和其他原因,可能会对Web服务器带来巨大的资源开销
  • 服务器上的数据有产权归属网络爬虫获取数据后牟利将带来法律风险
  • 网络爬虫可能具备突破简单访问控制的能力,获得被保护数据从而泄露个人隐私

所以,一般部分网站会给出限制网路爬虫的协议,这就是robots协议。

  • 来源审查:判断User‐Agent进行限制 检查来访HTTP协议头的User‐Agent域,只响应浏览器或友好爬虫的访问
  • 发布公告:Robots协议 告知所有爬虫网站的爬取策略,要求爬虫遵守

robots协议的全名为Robots Exclusion Standard,网络爬虫排除标准 作用: 网站告知网络爬虫哪些页面可以抓取,哪些不行 形式: 在网站根目录下的robots.txt文件

案例

image.png

image.png

意思就是 对于所有的user-agent: 不可以访问一下url Disallow: /?* Disallow: /pop/.html Disallow: /pinpai/.html?* 对于其他几个user-agent是禁止爬虫的,我们看一下就是一淘这些淘宝的搜索引擎,也难怪京东和淘宝哈哈哈

实际中如何遵守robots协议

  • 网络爬虫: 自动或人工识别robots.txt,再进行内容爬取
  • 约束性: Robots协议是建议但非约束性,网络爬虫可以不遵守,但存在法律风险

image.png

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 关于Java构造函数(Constructor)的常见问题总结1 为什么调用子类的构造方法的时候,默认会调用父类的构造方法2 常见错误:Implicit super constructor is und

    当继承自一个类的时候,构造方法就会首先调用super()方法。如果没有显式的写这个语句,那么编译器就会自动插入这个语句。这就是为什么我们上面的那个例子程序会先调...

    desperate633
  • 深入理解Spring框架的作用(Spring in action 学习笔记)激发POJO的潜能依赖注入应用切面使用模板消除样板式代码

    纵览Spring , 读者会发现Spring 可以做非常多的事情。 但归根结底, 支撑Spring的仅仅是少许的基本理念, 所有的理念都可以追溯到Spring最...

    desperate633
  • 设计模式之组合模式(Composite 模式)引入composite模式composite模式的具体实例composite模式小结

    在计算机文件系统中,有文件夹的概念,文件夹里面既可以放入文件也可以放入文件夹,但是文件中却不能放入任何东西。文件夹和文件构成了一种递归结构和容器结构。 虽然文...

    desperate633
  • 干货 | 那些你不知道的爬虫反爬虫套路

    崔广宇,携程酒店研发部开发经理,与去哪儿艺龙的反爬虫同事是好基友。携程技术中心“非著名”段子手。

    华章科技
  • Scrapy分布式、去重增量爬虫的开发与设计

    分布式采用主从结构设置一个Master服务器和多个Slave服务器,Master端管理Redis数据库和分发下载任务,Slave部署Scrapy爬虫提取网页和解...

    机器学习AI算法工程
  • Java 网络爬虫,该怎么学?

    在后面的几年工作中,也参与了好几个爬虫项目,但是大多数都是使用 Python ,抛开语言不谈,爬虫也是有一套思想的。这些年写爬虫程序,对我个人的技术成长帮助非常...

    黄泽杰
  • 爬虫篇 | Python爬虫学前普及

    最近整理一个爬虫系列方面的文章,不管大家的基础如何,我从头开始整一个爬虫系列方面的文章,让大家循序渐进的学习爬虫,小白也没有学习障碍.

    叫我龙总
  • 如何给爸妈解释什么是“爬虫”?

    前段时间我妈突然问我:儿子,爬虫是什么?我当时既惊讶又尴尬,惊讶的是为什么我妈会对爬虫好奇?尴尬的是我该怎么给她解释呢?

    数据森麟
  • 快速入门网络爬虫系列 Chapter01 | 初识网络爬虫

    我们为什么要了解网络爬虫? 因为当今从事科学研究等,需要大量的数据,但是这些数据公开的又非常的少,大量的数据都在大公司的手中。我们这些普通人本身并没有那么多数...

    不温卜火
  • 初识爬虫

    郭楷丰

扫码关注云+社区

领取腾讯云代金券