登录后,我查看了facebook中的html代码,他们似乎对JS文件做了很多请求(根据firebug,多达20个)。
所以,虽然我知道facebook需要加载许多JS和CSS文件(而不是一个JS和一个CSS文件),但我的问题是更通用的网站和网络爬虫的状态。我们应该担心这些技术(通过ajax加载主要内容)会影响网络爬虫(googlebot和朋友)吗?
我想提高性能,加载“稍后需要”的内容(text/js/css)似乎是个好主意,但如果爬虫不能使用(当然是内容),就不是一个好主意。
谢谢!
发布于 2013-03-18 22:47:59
http://support.google.com/webmasters/bin/answer.py?hl=en&answer=81766
虽然谷歌机器人很擅长理解超文本标记语言链接的结构,但它很难在使用JavaScript导航的网站上找到自己的路。我们正在努力更好地理解JavaScript,但要创建一个可被谷歌和其他搜索引擎抓取的网站,最好的办法就是提供内容的超文本标记语言链接。
googlebot和大多数搜索引擎爬虫都不会执行javascript代码,这是因为加载javascript和css意味着页面渲染会有很高的性能,没有爬虫可以接受。
但是,爬行器可以偷看js代码以检查特定的模式(例如,正在使用blackhat技术)。
最好的(但困难的)解决方案是为不能执行javascript的代理提供基本内容(必须提供主页内容),并为现代浏览器提供具有更多功能的优化内容
https://stackoverflow.com/questions/15479265
复制相似问题