Robots.txt和sitemaps
Robots.txt和sitemaps
提问于 2011-11-07 13:10:48
如果我在哪里阻止一个网页，比如404Error.aspx，在机器人中，txt (我认为这个页面没有理由被google索引)。但是，我是否仍然将此页面包含在xml站点地图中？
编辑：
如果我希望我的页面被索引(google跟随其中的链接)，但没有显示在搜索结果中，我应该删除robots.txt并使用带有"noindex“的机器人元标记吗？
回答 2
Webmasters Stack Exchange用户
回答已采纳
发布于 2011-11-07 13:49:32
如果我希望我的页面被索引(google跟随其中的链接)，但没有显示在搜索结果中，我应该删除robots.txt并使用带有"noindex“的机器人元标记吗？
是。
Webmasters Stack Exchange用户
发布于 2011-11-07 13:16:04
如果你想阻止谷歌和其他搜索引擎在他们的索引这一页，我认为没有理由有链接的网站地图。您应该只在您的robots.txt中拥有链接。
页面原文内容由Webmasters Stack Exchange提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://webmasters.stackexchange.com/questions/21721
复制相关文章
相似问题
腾讯云开发者
