针对不同链接的Google爬行404版
针对不同链接的Google爬行404版
提问于 2022-10-20 05:10:17
正如问题标题所提到的，我检查了我的google爬行报告，发现其中一些URL有404，它的目标是主/根目录。我已经检查了资产，并尝试索引URL，但同样的问题显示在爬行报告，但这一次资产是可用的。
供参考的截图：
正如您所看到的，相同的URL是重复的。
我尝试了什么：
我尝试添加丢失的资产，因此错误可以删除，但是链接仍然显示在爬行报告中。
我尝试索引链接，但它不是索引，尽管它是索引的谷歌检查。
我想要的：
我正在执行的技术SEO在我的网站上，我结束了爬虫问题，也是爬虫问题可以修复，因为有许多其他问题显示，可以看到在所附的屏幕截图和我必须做的其他改进，以提高性能，等等？
回答 1
Webmasters Stack Exchange用户
回答已采纳
发布于 2022-10-20 11:26:23
爬行转发与性能无关。此报告显示Googlebot获得的资产，以及爬行过程的结果。
只有很少的变体，Googlebot如何识别资产：
- 如果一个资产是一个web文档，Googlebot可以通过任何地方的链接，无论是在您的网站上，还是在站点地图上，
- 如果一个资产类似于你喜欢的图标，Googlebot只能通过链接来识别它！
这意味着，404错误在您的网站上有原因:在您的网站上的任何地方或它之外的Googlebot获得了链接到您的资产。然后它访问(爬行)，得到404作为状态代码。
如果您确定，您从您的站点中删除了这些资产，请考虑使用410状态代码响应请求。如果Googlebot得到410，它就会停下来从这里爬来爬去。在404的情况下，它不时地出现，希望能找到活着的资产。
如果您确定，您的网站没有这些资产，所以只需冷静，但不要试图遵循GSC的建议，并修复一个错误。有一些报告说，Googlebot试图爬行现有的资源，但经过一些尝试后，它就停止了。如果您试图将这些错误设置为已修复，Googlebot将一次又一次地出现。
页面原文内容由Webmasters Stack Exchange提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://webmasters.stackexchange.com/questions/140669
复制相关文章
相似问题
腾讯云开发者
