在robot.txt文件中,我放了一个网址/custompages/*和谷歌机器人不应该抓取与“/自定义网页/”匹配的页面。
但当我查看webmaster时,我仍然可以看到来自这些链接的错误消息。
User-agent: *
Disallow: /search/application/*
Disallow: /custompages/*
上面是我的robot.txt文件。
在网站管理员上,我可以看到网址的Googlebot couldn't access the contents of this URL because the server had an interna