好吧,我是从一个网站上抓取数据的(纯粹是在法律限制下)。
情况是,网站在一个页面上有5个问题,答案是them.But,我通过按Ctrl+u
看到的源代码与我在Firefox.That中看到的Inspect element
或firebug
看到的代码不同,这意味着网站正在改变页面负载的答案,以欺骗周围的人,因为抓取器通常会抓取未修改的code.The,正确的答案是在onLoad
修改的页面上。
我想要的是捕获我在Firebug
或Inspect element
(修改后的代码)中看到的源代码,而不是我在按Ctrl+U
时看到的代码。
我使用了一个抓取API,但它捕获了原始的Ctrl+U
代码。
有什么解决方案吗?
发布于 2013-12-13 22:20:26
在chrome中,选择根元素()并右键单击->复制为HTML,粘贴到任何位置
编辑
我怀疑你是在试图自动抓取数据,这显然是行不通的,不知道怎么做。有一些支持JS的无头web浏览器(例如phantom js),他们可能会做到这一点。另请查看this super user post
发布于 2013-12-13 22:19:34
我建议你在加载之前做一个页面html的日志。这可以使用jquery来完成。
或者使用"debugger“进行简单的经典调试,一旦浏览器解释了你放置的代码行,它就会停止网页的执行。
作为一名HTML5游戏开发人员,我通常会通过控制台进行高级日志记录,以了解什么执行了什么以及什么时候执行了什么。尽管这可能需要一些时间,但它允许您对所编写的内容有一个良好的理解,并确保优化(主要是在一些东西的执行人员数量中),并捕获可能不明显的bug。
https://stackoverflow.com/questions/20568658
复制相似问题