为了解决这个问题,ROBOTS开发界提供了两个办法:一个是robots.txt,另一个是The Robots meta标签。...一、 robots.txt
1、 什么是robots.txt?
...文件中,如果有多条User-agent记录说明有多个robot会受到该协议的限制,对该文件来说,至少要有一条User-agent记录。...如果该项的值设为*,则该协议对任何机器人均有效,在”robots.txt”文件中, “User-agent:*”这样的记录只能有一条。...和Robots meta标签限制搜索引擎机器人(ROBOTS)抓取站点内容的办法只是一种规则,需要搜索引擎机器人的配合才行,并不是每个ROBOTS都遵守的。