问Robots.txt与模式匹配
EN

Webmasters Stack Exchange用户

提问于 2012-10-01 10:04:36

回答 1查看 779关注 0票数 6

将这个添加到我的robots.txt中

User-agent: *
Disallow: /*action=*$

不认识外卡的机器人是如何处理这个问题的？

发布于 2012-10-01 11:06:25

不识别通配符(不在官方规范中)的机器人将把*视为一个文字字符。事实上，它不是一个有效的URL字符，这可能意味着他们完全忽略了规则。在这两种情况下，这很可能意味着规则不会对他们产生任何影响。

这将在一定程度上取决于爬虫robot.txt荣誉方案的准确实现，不能完全依赖于此。

如果您想避免这种情况，您可以为googlebot (以及其他尊重robots.txt的人)进行单独的配置。

例如。

User-agent: *
Disallow: /

User-Agent: Googlebot
Disallow: /*action=*$

它禁止所有机器人，但Googlebot除外，这将尊重通配符的配置。

票数 7

页面原文内容由Webmasters Stack Exchange提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://webmasters.stackexchange.com/questions/35145

复制

相似问题

问Robots.txt与模式匹配EN