问题是,我能够与"sortby“选项交互,并使用Selenium选择”最近“,并使用Scrapy为第一页抓取数据。但是,我无法提取其他页面的数据,Selenium Web驱动程序不知何故不呈现下一页。代码片段附在这里(一些信息由于机密性而被删除)import selenium.webdriver as webdriver
from selenium.webdriver.edge.servicei
要转到下一页,我使用next_click()。Selenium webdriver将打开并单击所有页面(到目前为止还不错)。但只提取第一页中的项。这是5倍(与页面的数量一样多)。看起来,它识别了正确的条目数量,但只重新提取了第一页的条目。注意:如果您单击下一页,url将保持不变。非常感谢你的帮助!import scrapyimport time
from scrapy.linkex
我想要抓取的页面使用按钮上的js脚本转到下一页。我在SO上找到了部分代码(Click a Button in Scrapy),但我似乎无法让它工作。from selenium import webdriver
name = 'spidypy'我多次收到以下错误消息: selenium.common.exceptions.WebDriverExcept
我用Scrapy爬过一个网店。产品是动态加载的,这就是为什么我使用Selenium在页面中爬行。我开始刮掉所有的类别,然后调用它们作为主要功能。这个问题是在爬行每个类别时发生的:蜘蛛被指示从第一页抓取所有数据,然后单击一个按钮进入下一页,直到没有按钮为止。在点击完所有下一个按钮之前,它会随机切换到一个新的类别。from scrapy import signals
from s