到目前为止,我的robots.txt文件配置如下:Disallow: /wp-admin/由于我上次接触它已经有一段时间了,我一直在四处搜索,看看2018年的最佳实践是什么,以及是否应该更新文件。我找到了本文作者: Yoast,它基本上不阻止任何东西,并按照以下方式设置robots.txt文件以获得最佳结果:
# This space
假设我有两个分支,master和staging,我希望在每个分支中有两个不同版本的/robots.txt:# www.robotstxt.org/暂存# Disallow crawling of all contentDisallow: /
撇开管理暂存环境的最佳实践相比,我如何将从暂存到主、反之亦然的<