大家好,又见面了,我是你们的朋友全栈君。对于网站管理者和内容提供者来说,有时候会有一些站点内容,不希望被ROBOTS抓取而公开。...robots.txt是一个纯文本文件,通过在这个文件中声明该网站中不想被robots访问的部分,这样,该网站的部分或全部内容就可以不被搜索引擎收录了,或者指定搜索引擎只收录指定的内容。...在该文件中可以使用#进行注解,具体使用方法和UNIX中的惯例一样。...如果 “/robots.txt”是一个空文件,则对于所有的搜索引擎robot,该网站都是开放的。...和其他的 meta标签(如使用的语言、页面的描述、关键词等)一样,Robots meta标签也是放在页面的<head></head>中,专门用来告诉搜索引擎ROBOTS如何抓取该页的内容。