Googlebot不尊重Robots.txt

Googlebot是谷歌搜索引擎的爬虫，它会遵循网站的robots.txt文件来确定哪些页面可以被抓取。robots.txt文件是一个简单的文本文件，它告诉搜索引擎哪些页面可以被抓取，哪些不可以。然而，有时候Googlebot可能会忽略robots.txt文件中的规则，这可能是因为网站的robots.txt文件存在错误或者Googlebot的爬虫策略有所调整。

如果您的网站发现被Googlebot抓取了不应该被抓取的页面，您可以采取以下措施：

检查您的robots.txt文件是否正确配置。确保您的文件格式正确，并且您的规则语法正确无误。
如果您发现Googlebot忽略了您的robots.txt文件，您可以使用Google Search Console来排除被抓取的页面。您可以在Google Search Console中使用“URL预览”功能来检查您的页面是否被正确抓取，并且可以使用“抓取错误”功能来查看Googlebot抓取页面时遇到的错误。
如果您发现Googlebot抓取了不应该被抓取的页面，您可以使用“禁止抓取”标记来告诉Googlebot不要抓取这些页面。您可以在<head>标签中添加<meta name="robots" content="noindex">标记来禁止Googlebot抓取该页面。

总之，Googlebot会尊重robots.txt文件中的规则，但是有时候可能会出现异常情况。如果您的网站发现被Googlebot抓取了不应该被抓取的页面，您可以采取上述措施来解决问题。