文章/答案/技术大牛

发布

社区首页 >问答首页 >Selenium爬虫使用Python为100+页面自动生成next按钮

问Selenium爬虫使用Python为100+页面自动生成next按钮
EN

Stack Overflow用户

提问于 2022-01-23 10:46:57

回答 1查看 74关注 0票数 0

我正在为所有ID (3000+)爬行一个页面，稍后将其保存到文本文件中。

所以我的代码按照我想要的方式工作，但是现在我正在搜索一个自动化的方法，而不是重复下面的过程100+时间，点击网页。类似于：

next.click()*100.....

非常感谢有建设性的建议:)

我的当前(工作)代码：

next = driver.find_element(By.CSS_SELECTOR,'img.down')
#next page button

main = driver.find_elements(By.CSS_SELECTOR, "span.id")
time.sleep(2)
for m in main:
    print(m.text)

next.click()

time.sleep(2)
main = driver.find_elements(By.CSS_SELECTOR, "span.id")

for m in main:
    print (m.text)

driver.quit()

python

selenium

web-crawler

click

回答 1

Stack Overflow用户

回答已采纳

发布于 2022-01-23 14:19:52

谢谢你告诉我!使用WebDriverWait的while循环可以完成这个任务。

wait = WebDriverWait(driver, 3)
while True:
        main = driver.find_elements(By.CSS_SELECTOR, "span.id")
        time.sleep(2)
        for m in main:
            print(m.text)
        try:
                element = wait.until(EC.element_to_be_clickable((By.CSS_SELECTOR, 'img.down')))
                element.click()
        except TimeoutException:
                break

driver.quit()

票数 0

页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://stackoverflow.com/questions/70821243

复制

相似问题

问Selenium爬虫使用Python为100+页面自动生成next按钮
EN

回答 1

Stack Overflow用户

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐

问Selenium爬虫使用Python为100+页面自动生成next按钮EN

回答 1

Stack Overflow用户

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐

问Selenium爬虫使用Python为100+页面自动生成next按钮
EN