google说被机器人的txt阻止了。我怎么解决这个问题?
你好家伙是我的网站https://lastcyber.com,为了发展目的,我在开发后的最后几天禁用爬行,现在我改变了一切
用户代理:*不允许:/ wp-admin /允许:/wp-admin/admin-ajax.php站点地图:https://lastcyber.com/sitemap.xml
用户代理:*不允许:/ wp-admin /允许:/wp-admin/admin-ajax.php
发布于 2019-05-20 16:11:04
请注意,规则正在从上到下进行处理,并且用户代理只能匹配一个规则集,这是与给定用户代理匹配的第一个最具体的规则。因此,我建议将“允许”规则移到“禁止”规则之上。
https://stackoverflow.com/questions/-100006755
复制相似问题