我们有一个每天出版2-3次新鲜内容的内容。该网站有标签和每个字母表的分类页面。他们都列出了标题,链接到该类别中的所有内容,或者分别以该字母开头。
你是否应该允许机器人索引这些页面,特别是那些列出页面标题的页面,从每个字母开始?
发布于 2013-06-07 05:43:29
如果内容是新的,并且希望对其进行索引,则应该在站点地图(S)中指定频率。
只要每个标签和字母表字符的内容不重复任何其他页面,它肯定不会损害您的搜索结果。
缺点是,如果您有大量的内容,那么您的服务器资源可能会被来自不同机器人的所有请求征税。因此,您可能需要限制哪些机器人可以索引它们(例如Google和Bing),同时跳过其他不太流行的搜索引擎主机。
https://webmasters.stackexchange.com/questions/49323
复制相似问题