我想要抓取由无限滚动实现的页面的所有数据。下面的python代码可以工作。
for i in range(100):
driver.execute_script("window.scrollTo(0, document.body.scrollHeight);")
time.sleep(5)
这意味着每次我向下滚动到底部时,我需要等待5秒,这通常足以让页面完成加载新生成的内容。但是,这可能不是时间效率。页面可能在5秒内完成新内容的加载。如何检测页面是否在每次向下滚动时都加载完新内容?如果我能检测到这一点,当我知道页面加载完成后,我可以再次向下滚动以查看更多内容。这
如果我iFrame一个使用jQueryMobile运行的页面,一旦页面加载完毕,它就会向下滚动到该iFrame的顶部。如果我打开一个lightbox,页面会向下滚动到lightbox的位置。注意:这特别适用于iOS设备。
例如,在你的iPhone:上转到这里,向下滚动到“照片灯箱”,然后点击其中一张图片。整个页面将向下滚动到灯箱。
jQueryMobile是如何操作父框架的滚动位置的?
won't let me submit without some code.