文章/答案/技术大牛

发布

社区首页 >问答首页 >如何确保web crawler适用于托管在亚马逊S3上的网站并使用AJAX

问如何确保web crawler适用于托管在亚马逊S3上的网站并使用AJAX
EN

Stack Overflow用户

提问于 2012-10-09 20:38:11

回答 1查看 836关注 0票数 6

谷歌网站管理员指南解释说，web服务器应该处理包含_escaped_fragment_的url请求(爬虫将www.example.com/ajax.html#!mystate修改为url

http://support.google.com/webmasters/bin/answer.py?hl=en&answer=174992

我的网站位于亚马逊S3上，我没有web服务器来处理此类请求。我如何才能确保爬虫获得提要，我的网站获得索引？

发布于 2014-05-23 20:37:02

S3托管的站点是静态的html。没有POST处理，没有PHP渲染，什么都没有...那么，为什么你会关心Google索引AJAX站点呢？

对于静态网站，只需将格式良好的robots.txt和sitemap.xml文件上传到根路径即可。

票数 0

页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://stackoverflow.com/questions/12800233

复制

相似问题

问如何确保web crawler适用于托管在亚马逊S3上的网站并使用AJAXEN