有很多机器人无时无刻在爬取我们的网站,虽然在我们层层过滤后,它爬取不到什么有用的东西,但我们在查看日志还是挺闹心,那有没有什么方法呢?
最开始想的是弄一个压缩炸弹,解压后就是几十G的文件,但是不对啊,它好多是bot爬,所以直接用301安排一个大文件是比较好的方法,于抄了一条规则,301跳转到一个10G大文件。刚开始规则有问题,多亏了群里大佬帮忙改了一下。规则如下:
此处内容已隐藏,请评论后刷新页面查看.
注:如果你在外站看到,进入:https://www.yowap.com 即可复制
直接复制添加到网站配置里即可。如图:
本文分享自 作者个人站点/博客 前往查看
如有侵权,请联系 cloudcommunity@tencent.com 删除。
本文参与 腾讯云自媒体分享计划 ,欢迎热爱写作的你一起参与!