问Google Crawl错误-无法访问的错误
EN

Stack Overflow用户

提问于 2011-03-07 14:58:09

回答 1查看 302关注 0票数 0

我的网站已经成功通过了谷歌站长的验证。我对robot.txt的爬虫访问也是200次(成功)。然而，当我检查“爬行错误”时，几乎每个页面都是“无法访问的”，包括域主页本身。唯一没有错误的页面是附件/文件页面(例如pdf、xls、jpg等)。这真的很奇怪。

我的网站是由Ruby on Rails使用MySQL数据库创建的。

回答已采纳

发布于 2011-03-07 15:23:50

渲染页面需要很长时间吗？我怀疑如果页面响应时间太长，谷歌的爬虫就会放弃。考虑将Varnish放在昂贵且不包含任何与用户相关或动态内容的公共页面的前面？

票数 1

页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://stackoverflow.com/questions/5216751

复制

相似问题

问Google Crawl错误-无法访问的错误EN