谷歌站长工具中的My robots.txt显示以下值:
robots.txt
User-agent: * Allow: /
什么意思?我对这方面的知识还不够,所以寻求你的帮助。我想要允许所有的机器人爬行我的网站,这是正确的配置吗?
https://stackoverflow.com/questions/4276957
相似问题