我在我的网站上有一个网站地图:
https://www.loveelectronics.co.uk/handlers/sitemap.ashx
它在我的robots.txt中引用如下:
Sitemap: https://www.loveelectronics.co.uk/Handlers/Sitemap.ashx
出于某种原因,我一直收到对以下文件的请求:
sitemap.xml
sitemap-b.xml
sitemap-g.xml
sitemap-r.xml
这是什么意思?当我在我的/sitemap.xml中指定一个不同的路径时,代理为什么要请求robots.txt,以及为什么他们要请求这些奇怪的sitemap-?..xml文件。我每天都会收到很多关于这些文件的请求,我想把这件事弄清楚。
发布于 2011-08-02 21:07:42
你可能只是在对付一只相对笨的蜘蛛。
/sitemap.xml
是“标准”位置,这解释了这个请求。不管蜘蛛/机器人撞到那个地方,都是在赌安全。希望对他们来说,他们也在看你的机器人文件。
至于其他的,他们不是标准名称,但很可能只是蜘蛛在另一个网站上遇到的东西,并为以后的尝试藏起来,例如。Lyricspedia‘’sitemap指数有一些相同的文件名,减去.gz。它有可能是用一些这样的模式编程的,因为这个模式看起来很有可能。
发布于 2011-08-05 22:44:34
好吧,也许它正在尝试查看是否创建/上载了多个XML站点地图(例如,在XML站点地图被分割为多个的情况下,因为每个XML站点地图文件都达到了最大URLS的上限)
https://webmasters.stackexchange.com/questions/17704
复制相似问题