real-time-billionaires/")
} 这是我的代码,当我请求时,我将获得备用页面This is the link for forbes that i am trying to scrape 我已经注意到网站使用散列路径,这是在网址的最后一部分,我不能请求与同一网址两次,我认为它在某种程度上与抓取有关,有人能帮我吗?
我有一个非常奇怪的robots.txt问题...几个月来,我一直在定期更新我的机器人,没有任何问题。几天前,我遇到了这个问题。我已经更新了FTP文件夹中的机器人,文件也被正确更新了。现在,如果我在浏览器中看到这一点,我会看到旧版本。甚至连谷歌都没有更新它,已经有好几天了。如果我进入搜索控制台,在see like google功能中,我会看到:
在左边你可以看到,我在浏览器里看到了什么,谷歌看到了什么,在右边你可以看到我的真实文件,就像它出现在ftp中一样。不同之处在于最后5行。还有站点周围的帮助,请看,从另一个状态加载,正确的版本,文件版本。相反,我和谷歌看到的是旧的.我不知道它是否有用