我有一个脚本(下面),抓取一个网站与3个步骤的过程。当设置为一次最多1页时,效果很好。然而,当我将其增加到2次时,事情就开始变得不稳定了。onFinished触发的时间比我预期的要早,而且页面还没有完全加载。正因为如此,我的脚本的其余部分中断了。你知道为什么会发生这种事吗?我应该补充说,我使用的是最新版本(1.5)。### the page is fully rendered. this is eviden
我经常需要从互联网网页中解析/抓取信息。为此,我使用了lxml和requests。几乎在所有情况下,信息本质上都是连续的,就像一堆与股票相关的信息或日期信息。目前,我运行一个列表理解来运行循环。我想知道是否有一种方法可以同时解析多个页面?我知道多进程/分叉,但我希望有更简单的解决方案。requests.get(i).content).xpath("//tr//td//text()") for i in ("some_list of