专栏首页wordpress建站吧如何过滤屏蔽掉抓取你WordPress网站的无用蜘蛛

如何过滤屏蔽掉抓取你WordPress网站的无用蜘蛛

很久之前其实就发现一个问题,很多的蜘蛛来抓取你的网站,通过分析网站的日志文件可以看到,有很多蜘蛛我们是欢迎的,有些我们确实不想要的,但是却长期的在抓取,于是想要把他屏蔽掉,当天一般想到的办法可能是定义robots文件去屏蔽蜘蛛;

但是这个似乎并没有用处,一方面有些蜘蛛并不遵守这个规则协议,照样抓取,一方面很多蜘蛛其实是仿冒的,比如你也可以仿冒百度蜘蛛的UA信息去抓取别人的网站,所以robots文件几乎是没法实现的。

之前介绍过宝塔免费的防火墙比较好用,可以借助这个防火墙功能,屏蔽恶意的无用的一些蜘蛛的UA信息,比如:

Mozilla/5.0 (compatible; AhrefsBot/6.1; +http://ahrefs.com/robot/);

Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)

等,这些几乎是国外的一些搜索引擎或者是根本不会带来任何好处比如搜索流量的,所以可以直接屏蔽他们。其他有益的蜘蛛需要保留不要误杀了,比如谷歌百度搜狗头条什么等等;除了防火墙可以屏蔽UA还可以借助CDN去实现屏蔽UA;

为什么要屏蔽呢?

其实到不见得有什么明显的好处,反正看到日志里面出现很多这些没用的觉得没有意义,访问抓取的时候还会消耗一定的服务器资源,带来带宽流量等消耗;

本文分享自微信公众号 - wordpress建站吧(wordpress8),作者:smartcim

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2019-11-27

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 瞬间实现SEO秒收录,实测记录百度快速收录到底有多神奇

    今天也是一个偶然的机会帮助别人搞网站,主要问题是近期频繁更新内容,但是最近2周百度不收录了,完全没有新增收录,给出的一些建议包括提交链接,CDN加速和全站Htt...

    wordpress建站吧
  • WP越来越慢?这些WordPress加速技巧你一定要知道

    WP越来越慢?很多人有这种感觉,WordPress网站其实慢不是本身的原因,任何庞大臃肿的程序都免不了各种的卡顿情况出现,就像我们的手机电脑用久了就会卡的感觉。...

    wordpress建站吧
  • 盘点2020年wordpress常用的50个插件合集-吐血推荐

    盘点2020年wordpress常用的50个插件合集,50个插件已经打包整理好,可以选择性安装或者是去搜索添加。如果后台经常出现安装不成功的!大部分的插件是可以...

    wordpress建站吧
  • Jewel版本Ceph集群功能性能测试

    http://docs.ceph.com/docs/master/start/quick-start-preflight/#rhel-centos https:...

    三杯水Plus
  • 【NLP】GPT:第一个引入Transformer的预训练模型

    目前两种最重要的预训练语言模型,一种是前面介绍过的BERT,另外一种就是GPT。

    用户1508658
  • ​重磅 | DAAS(数据管理服务)调研与简要分析

    文| 张涵诚、陆骥 本文为作者投稿,转载请联系作者 背景 当前大家都知道: 1.数据交易市场的繁荣为时过早,数据加工和处理太过于分散化; 2.数据金字塔顶部的数...

    CDA数据分析师
  • 什么样的大数据平台架构,才是最适合你的?

    技术最终为业务服务,没必要一定要追求先进性,各个企业应根据自己的实际情况去选择自己的技术路径。   它不一定具有通用性,但从一定程度讲,这个架构...

    BestSDK
  • MachineLearning ----KNN

    今天呢,我们就要来接触稍微高级一点的东西了,我们所做的事情不仅仅局限于代码的层面上了,要基于某种算法解决问题,而此时的python则是我们完成问题的工具啦!

    我被狗咬了
  • 链家与网易合作重塑房产交易市场,浪潮联合多家机构共建教育大数据实验室 | 大数据24小时

    数据猿导读 环境大数据公司“泛测环境”完成2000万元融资;用大数据重塑房产交易市场,链家网宣布与网易达成战略合作;物联网大数据公司“云基物宇”拟新三板挂牌上市...

    数据猿
  • 这些“秘密武器”,让你轻松跻身Kaggle前2%

    Kaggle的比赛真的好玩到令人上瘾。在享受比赛的过程中,如果比赛成绩能够名列前茅那就非常棒了~~~

    大数据文摘

扫码关注云+社区

领取腾讯云代金券