ROBOTS怎么写?ROBOTS禁止收录写法、详细说明

对于新手朋友来说,不太清楚robots该如何书写不会错,robots对网站内的优化又是非常重要的,今天蔡江来为大家简单讲解下robots的正确写法。(以下内容本着实用易懂的目的出发描述)

这里蔡江先把几种常用的写出来,后面再讲每一句的含义:

禁止所有搜索引擎抓取:User-agent: * Disallow: /禁止百度蜘蛛抓取:User-agent: baiduspider Disallow: /允许百度抓取,禁止谷歌抓取:User-agent: * Allow: / User-agent: baiduspider Allow: / User-agent: Googlebot Disallow: /

聪明的朋友可能已经看出来了改如何写robots了。没看明白的不着急,请看下文

robots是一行或多行User-agent开始,后面跟上多个Disallow和Allow行,参照上面案例

User-agent: 后面跟搜索引擎机器人的名字

Disallow: (不可以被抓取)

Allow: (可以被抓取)

下面重点说下百度蜘蛛的通配符: Baiduspider支持使用通配符"*"和"$"来模糊匹配url。 "$" 匹配行结束符。 "*" 匹配0或多个任意字符。

附上我的站点的robots,我用的织梦:

User-agent: * Disallow: /plus/ad_js.php Disallow: /plus/advancedsearch.php Disallow: /plus/car.php Disallow: /plus/carbuyaction.php Disallow: /plus/shops_buyaction.php Disallow: /plus/erraddsave.php Disallow: /plus/posttocar.php Disallow: /plus/disdls.php Disallow: /plus/feedback_js.php Disallow: /plus/mytag_js.php Disallow: /plus/rss.php Disallow: /plus/search.php Disallow: /plus/recommend.php Disallow: /plus/stow.php Disallow: /plus/count.php Disallow: /include Disallow: /templets Disallow: /index.php Disallow: /member Disallow: /plus/vote

注:写robots要严格按照规则来写,不然写出来的是无效的写好之后可以到百度站长平台robots更新一下,检查robots是否书写正确。另外robots中还可以加入网站地图sitemap,有些人认为这不安全,写到里面容易被人轻松获得了网站的链接。我认为真正有人想采集网站的文章,不是知道网站地图与否能够阻挡的了的。所以robots中大可以申明网站地图的链接。

  • 发表于:
  • 原文链接http://kuaibao.qq.com/s/20180405A0P7FD00?refer=cp_1026
  • 腾讯「云+社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。
  • 如有侵权,请联系 yunjia_community@tencent.com 删除。

扫码关注云+社区

领取腾讯云代金券