arxiv.org反机器人“搜索和摧毁”实际上是做什么的？
arxiv.org反机器人“搜索和摧毁”实际上是做什么的？
提问于 2009-05-01 16:11:13
lanl.arxiv.org数学和科学预印服务(以前称为xxx.lanl.gov)对忽视其robots.txt，机器人当心的机器人有严格的政策。在那一页上，有一个标签为“点击这里启动对你的网站的自动‘寻找和破坏’的链接，这是他们的robots.txt禁止的，但可能行为恶劣的机器人会跟随它，并收获后果。问题是，实际后果是什么？我从来没有胆量去真正点击那个链接来看看它能做什么。他们能做些什么，既有效又合法？
回答 2
Server Fault用户
回答已采纳
发布于 2009-05-01 16:32:14
反向DNS结果：你被认为是一个违反了在arxiv.org上发布的指导方针的机器人。如果这个决定是错误的，请向www-admin@arxiv.org报告，这样你的问题就可以被调查。
Scanning, Initialized:
10 minutes to Trinity...
9 minutes to Trinity...
8 minutes to Trinity...
7 minutes to Trinity...
6 minutes to Trinity...
5 minutes to Trinity...
4 minutes to Trinity...
3 minutes to Trinity...
2 minutes to Trinity...
1 minute to Trinity...零地面。祝您今天愉快。联系方式
所以..。这是一页会浪费10分钟的非常天真的机器人的时间。可能对对抗恶意的机器人毫无用处，但是当面对一个写得不好的站点刮刀时，可能会节省一些带宽。
Server Fault用户
发布于 2009-05-01 16:29:52
除了旋转一小段时间外，别无其他后果。大多数浏览器(可能还有它们的服务器)都会在稍晚的时间内超时。他们可能只是对自己造成了比机器人更多的伤害。
页面原文内容由Server Fault提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://serverfault.com/questions/2562
复制相关文章
相似问题
腾讯云开发者
