robots.txt(统一小写)是一种存放于网站根目录下的 ASCII 编码的文本文件,它通常告诉网络搜索引擎的爬虫(又称网络蜘蛛),此网站中的哪些内容是不应被搜索引擎索引的,哪些是可以被索引的。
可能很多人都巴不得搜索引擎收录越多越好,为什么我们还禁止搜索引擎收录我们某些内容呢?
下面这个是目前我爱水煮鱼博客使用的 robots.txt 文件:
User-agent: *
Disallow: /cgi-bin/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /wp-content/cache/
Disallow: /wp-content/themes/
Disallow: /author/
Disallow: /trackback/
Disallow: /feed/
Disallow: /comments/
Disallow: */trackback/
Disallow: */feed/
Disallow: */comments/
简单说下,它只列了禁止访问的目录:
/cgi-bin/
:这个是服务器的 cgi 目录,所以肯定不能索引。/wp-admin/
: WordPress 后台目录,无需索引。/wp-includes/
:WordPress 程序运行的一些必须库,都无需索引。/wp-content/
目录下的 /plugins/
(插件),/themes/
(主题)和 /cache/
(缓存)都不应该索引的。/wp-content/
目录下剩下主要的是 /uploads/
目录是存放图片和附件,是应该让搜索引擎,特别是图片搜索引擎索引。剩下你自定义的一些目录,就看你自己需求来设置是否让搜索引擎索引。/author/
是某个作者的所有文章列表,基本都是重复内容了,所以也不让索引。/trackback/
和 */trackback/
,trackback
目录和原来的文字基本一样,完全的重复内容。/feed/
和 */feed/
,Feed 中也是重复内容。/comments/
和 */comments/
,留言页面也是重复内容。你可以自己根据网站的特点定制修改这个文件的内容,然后保存为 robots.txt
,然后上传到网站的根目录下。
如果你无法上传,也可以通过 WPJAM Basic 插件下的的简单 SEO 扩展中的 robots.txt 选项中去设置。