问Applebot在跟踪爬行延迟吗？

EN

据我所知和经验，Bing是唯一一个真正遵守爬行延迟指令的机器人，但我看到雅虎和Yandex也应该如此。这个指令非常新，没有定义标准，因此它的实现在bot和这家伙在这里说的之间有所不同。

谷歌明确表示，它不会遵循这一原则。，并邀请您在搜索控制台中设置此选项。

因为苹果在其网站上说它是尊重标准robots.txt指令，我不希望他们以任何方式执行爬行延迟指令。

如果问题仍在发生，我会阻止Applebot几天，如果您确信这是导致您的服务器负载过多的问题。

不过，有一件事，你是如何确定是Applebot问题的？您是否设置了所有用户代理在您的站点上爬行的日志？我曾经这样做过一次，一周内我的网站上出现了大量的机器人，我对此感到惊讶。