问为什么谷歌仍然显示被robots.txt阻止后，改变它？
EN

Stack Overflow用户

提问于 2019-05-20 06:25:37

回答 1查看 0关注 0票数 0

google说被机器人的txt阻止了。我怎么解决这个问题？

你好家伙是我的网站https://lastcyber.com，为了发展目的，我在开发后的最后几天禁用爬行，现在我改变了一切

用户代理：*不允许：/ wp-admin /允许：/wp-admin/admin-ajax.php站点地图：https：//lastcyber.com/sitemap.xml

用户代理：*不允许：/ wp-admin /允许：/wp-admin/admin-ajax.php

发布于 2019-05-20 16:11:04

请注意，规则正在从上到下进行处理，并且用户代理只能匹配一个规则集，这是与给定用户代理匹配的第一个最具体的规则。因此，我建议将“允许”规则移到“禁止”规则之上。

票数 0

页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://stackoverflow.com/questions/-100006755

复制

相似问题

问为什么谷歌仍然显示被robots.txt阻止后，改变它？EN