可以在robots.txt中使用相对站点地图url吗？
可以在robots.txt中使用相对站点地图url吗？
提问于 2013-01-07 21:16:34
在robots.txt中，我可以为站点地图文件编写以下相对URL吗？
sitemap: /sitemap.ashx或者我必须使用站点地图文件的完整(绝对) URL，如：
sitemap: http://subdomain.domain.com/sitemap.ashx为什么我想知道：
我有一个新的博客服务，允许用户在accountname.domain.com.
- I上使用通配符写博客，所以所有的子域(账户)都指向："blog.domain.com".
- 我有一个新的博客服务www.domain.com，它允许用户使用通配符来写博客
在blog.domain.com中，我放置了robots.txt，让搜索引擎找到网站地图。但是，由于通配符的原因，所有用户帐户共享相同的robots.txt file.Thats，因此我不能使用第二种方法。现在我还不能对txt文件使用url重写。(我猜更高版本的IIS可以处理这个问题？)
回答 3
Stack Overflow用户
回答已采纳
发布于 2013-01-08 23:34:00
根据官方documentation on sitemaps.org，它需要是一个完整的网址：
您可以使用robots.txt文件指定站点地图的位置。要做到这一点，只需将包含完整URL的以下行添加到站点地图：
Stack Overflow用户
发布于 2019-02-20 01:49:02
谷歌爬虫不够聪明，他们不能爬行相对URL，这就是为什么总是建议使用绝对URL的，以获得更好的爬行和索引能力。
因此，您不能使用此变体
> sitemap: /sitemap.xml推荐的语法是
Sitemap: https://www.yourdomain.com/sitemap.xml注意：
Sitemap别忘了把"sitemap"
- Don't的第一个字母大写，忘了在“
- ：”后面加空格：
Stack Overflow用户
发布于 2019-08-23 14:30:49
很好的技术和逻辑问题，我亲爱的朋友。不，在robots.txt文件中，您不能使用站点地图的相对网址；您需要使用站点地图的完整网址。
最好使用"sitemap：https://www.example.com/sitemap_index.xml“
在上面的URL中，冒号后面有空格。我也喜欢支持Deepak。
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/14196801
复制相关文章
相似问题