Robots协议(又称爬虫协议、机器人协议等)全称为网络爬虫排除标准(Robots Exclusion Protocol),是国际互联网界通行的道德规范,Robots是站点与spider重要的沟通渠道,网站通过robots告诉搜索引擎哪些页面可以捕获,哪些页面不能捕获。其目的是保护网站数据和敏感信息,确保用户的个人信息和隐私不受侵犯。搜索引擎需要自觉遵守,因为它不是命令。
优化搜索引擎SEO从角度看,robots.txt文件起着至关重要的作用。它告诉搜索引擎如何最好地抓取你的网站。robots.txt文件可以防止搜索引擎访问网站的某些部分,防止重复内容,并为搜索引擎提供有用的提示,如何更有效地捕捉您的网站。robots.txt更改时要小心:因为设置错误可能会使搜索引擎无法访问网站的大部分内容。
搜索引擎机器人访问网站时,首先会找到网站根目录是否 robots.txt如果有文件,则根据文件的内容确定包含范围。如果没有,则默认访问并包含所有页面。此外,当搜索蜘蛛发现它不存在时robots.txt在文件中,服务器上会产生一个404错误的日志,从而增加服务器的负担,所以在网站上添加一个robots.txt文件仍然很重要。百度也将严格遵守robots对于相关协议,要注意区分你不想被抓或收录的目录的大小写。robots文件准确匹配你不想被抓和收录的目录,否则robots协议无效。robots.txt基本语法User-agent:描述搜索引擎robot : 你可以指定这个规则只对baidu 或者google 或其他指定搜索引擎有效 可使用通配符Disallow: 描述一组不想被访问的人URL也就是说,可以使用设置禁止访问的部分url,也可以使用相对路径,可以是单目文件,也可以是整个文件夹,定类型。Allow: 描述一组希望被访问的人URL也就是说,设置允许访问的部分,但由于默认允许,这种语法通常是合作的disallow用它来完成 如除了xxx.html所有这些设置都不能在目录下访问。需要注意的是,allow和disallow的顺序是有讲究的,搜索引擎会以它先看到的规则为判断标准。
Sitemap:指示蜘蛛去爬取网站的sitemap文件。通配符:"$" 匹配行结束符;"*" 匹配0或多个任意字符。如何区分你的网站是否配置了?robots.txt第一种方法:访问网站 http(s):你的域名/robots.txt第二种方法:通过 [百度站长工具] 检测如何正确编写保护网站隐私的方法robots.txt我们想要的效果是:所有搜索引擎都必须遵循我的协议,禁止蜘蛛抓取我的背景地址和Typecho安装路径引导蜘蛛抓住我Sitemap
然后我们可以这样写,在网站根目录下新建一个robots.txt文件,内容如下*User-agent:
Allow: /*.html$
Allow: /usr
Disallow: /admin/
Disallow: /install/
Disallow: /var/
Disallow: /config.inc.php
Disallow: /install.php