我应该在robots.txt中使用#End Robots#吗?
我的意思是,它是否有助于阻止我获得空格?
现在它看起来像这样:
User-agent: *
Disallow: /admin/
Disallow: /account/
Disallow: /access-denied/
#End Robots#
发布于 2012-12-07 19:32:07
http://support.google.com/webmasters/bin/answer.py?hl=en&answer=156449似乎认为它是不必要的。
就我个人而言,我从未将其添加到我部署的任何robots文件中,也从未遇到过任何问题。
https://stackoverflow.com/questions/13762183
复制相似问题