文章/答案/技术大牛

发布

社区首页 >问答首页 >谷歌无法抓取您的站点，因为我们无法访问您站点的robots.txt文件

问谷歌无法抓取您的站点，因为我们无法访问您站点的robots.txt文件
EN

Stack Overflow用户

提问于 2015-02-10 23:03:06

回答 1查看 924关注 0票数 1

我用谷歌站长验证了我的网站。我已经在姜戈建立了我的网站，我还添加了robots.txt。现在谷歌显示了绿色的标记，我认为它在域名系统和服务器连接上是好的，但在robots.txt fetch上显示红色的警告标记。

我的robots.txt看起来像

User-agent: *
Disallow:

谷歌需要时间来抓取网站吗？或者我的robots.txt或其设置有错误。

当我从像mysite.com/robots.txt这样的站点打开robots.txt时，我可以看到robots.txt文件。

另外，当我在站长中运行robots.txt测试时，它给出了允许的结果。我的网站甚至没有被谷歌搜索到..

但是为什么它不爬行我的网站呢？

发布于 2015-02-15 00:03:45

谷歌通常会缓存robots.txt。它试图在24小时内重新抓取大部分。如果您确定您的robots.txt没有任何问题，那么您可能需要等待。

票数 0

页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://stackoverflow.com/questions/28434928

复制

相似问题

问谷歌无法抓取您的站点，因为我们无法访问您站点的robots.txt文件EN