我有一个每天变化的工作站点,我还为搜索引擎设置了一个动态生成的XML站点地图。但Googlebot将其作为自己的优先事项进行索引。
我有一个页面链接到新增加的工作,我希望Googlebot尽快索引。我观察到,在GWT中给出页面"Submit to index“中的"Fetch as Google”之后,Google</
最近,我们使用jQuery在“页面”之间滑动,将站点更新为单一页面站点。所以我们现在只有index.php。当你在谷歌( Google )等引擎上搜索公司时,你会得到这个网站和它的子页面列表,这会导致过时的页面。我们的计划不允许我们编辑.htaccess,旧的页面是.html文档,所以我也不能使用.html重定向。因此,如果我设置了一个robots.txt,告诉引擎不要爬行到index.php之外,这在防止/删除爬行子页面方