robots.txt 文件由一条或多条规则组成。每条规则可禁止(或允许)特定抓取工具抓取相应网站中的指定文件路径。
通俗一点的说法就是:告诉爬虫,我这个网站,你哪些能看,哪些不能看的一个协议。
搜索引擎(爬虫),访问一个网站,首先要查看当前网站根目录下的robots.txt,然后依据里面的规则,进行网站页面的爬取。 也就是说,robots.txt起到一个基调的作用,也可以说是爬虫爬取当前网站的一个行为准则。
那使用robots.txt的目的,就很明确了。
栗子如下:
User-agent: Googlebot
Disallow: /nogooglebot/
User-agent: *
Allow: /
Sitemap: http://www.wangxiaokai.vip/sitemap.xml
解析:
名为“Googlebot”抓取工具的用户代理不应抓取 http://wangxiaokai.vip/nogooglebot/ 文件夹或任何子目录。
所有其他用户代理均可访问整个网站。(不指定这条规则也无妨,结果是一样的,因为完全访问权限是系统默认的前提。)
网站的站点地图文件位于 http://www.wangxiaokai.vip/sitemap.xml
必须位于它所应用到的网站主机的根目录下
网页抓取工具的名称
不应抓取的目录或网页
应抓取的目录或网页
网站的站点地图的位置