用Python对基于Javascript的网页进行屏幕抓取
用Python对基于Javascript的网页进行屏幕抓取
提问于 2011-11-18 22:06:33
我正在用Python开发一个屏幕抓取工具。但是，当我浏览网页的源代码时，我注意到大多数数据都是通过Javascript获得的。
有什么想法，如何抓取基于javascript的网页？有没有用Python写的工具？
谢谢
回答 3
Stack Overflow用户
回答已采纳
发布于 2011-11-18 22:09:22
使用selenium可以抓取基于javascript的网页。特别是，尝试一下Selenium WebDriver。
Stack Overflow用户
发布于 2011-12-03 11:28:51
我使用webkit，它是Chrome和Safari背后的浏览器渲染器。这里有Python bindings to webkit through Qt。
这是一个完整的Python example to execute JavaScript and extract the final HTML。
Stack Overflow用户
发布于 2011-11-18 22:10:57
您可以使用PyQt4库的QtWebKit模块
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/8183682
复制相关文章
相似问题
腾讯云开发者
