腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
使用Selenium抓取下一页列表上的循环
模型出错了,请稍后重试~
相关搜索:
Selenium/BeautfulSoup中用于抓取电子商务网站的下一页迭代
selenium尝试抓取网站上的多个页面,但在转到下一页时出错
使用BeautifulSoup转到下一页进行抓取
使用python scrapy抓取同一链接的下一页
使用Selenium和for循环抓取多个页面
使用selenium和python抓取Instagram列表
使用Selenium和Scrapy抓取所有下一页
使用selenium抓取下一页问题
使用selenium时无法单击到下一页
使用Selenium访问下一页上的元素
相关搜索:
Selenium/BeautfulSoup中用于抓取电子商务网站的下一页迭代
selenium尝试抓取网站上的多个页面,但在转到下一页时出错
使用BeautifulSoup转到下一页进行抓取
使用python scrapy抓取同一链接的下一页
使用Selenium和for循环抓取多个页面
使用selenium和python抓取Instagram列表
使用Selenium和Scrapy抓取所有下一页
使用selenium抓取下一页问题
使用selenium时无法单击到下一页
使用Selenium访问下一页上的元素
页面内容是否对你有帮助?
有帮助
没帮助
相关·
内容
文章
问答
(9999+)
视频
沙龙
1
回答
使用
Selenium
抓取
下一
页
列表
上
的
循环
python-3.x
、
for-loop
、
selenium-webdriver
、
web-scraping
、
list-comprehension
Scraping next pages issue with
selenium
虽然我不想通过
使用
bs4来使它变得更复杂 我要
抓取
所有10个标题(链接到pdf)在每一
页
。下面是抛出StaleElementReferenceException: Message: stale元素引用
的
代码:元素未附加到页面文档(在i.click()) driver.find_element_by_css_selectori.click() if j < 10:
浏览 20
提问于2021-07-11
得票数 1
回答已采纳
1
回答
如何
使用
selenium
python自动分页?(无需手动选择next按钮)
python-3.x
、
selenium-webdriver
、
web-scraping
、
scrapy
、
python-requests
我正在
抓取
图像
的
网站
列表
,
使用
selenium
webdriver+scrapy,但每个网站
的
下一
步按钮都有不同
的
类/div名称,如何自动查找不同网站中
的
下一
页
进行
抓取
?
浏览 11
提问于2020-06-20
得票数 0
1
回答
如何
使用
Selenium
自动点击iframe中
的
多个链接?
python
、
selenium
、
web-scraping
、
beautifulsoup
我正在尝试从以下网站上收集秘鲁国会提出
的
几项法案
的
数据: 基本
上
,我想单击搜索结果中
的
每个链接,
抓取
账单
的
相关信息,返回搜索结果,然后单击
下一
个账单
的
下一
个链接,重复此过程。我已经能够
使用
Selenium
启动一个显示搜索结果
的
web浏览器,
使用
嵌入在iframe中
的
xpath点击第一个链接,然后用漂亮
的
汤
抓取
内
浏览 9
提问于2019-08-06
得票数 0
1
回答
如何
使用
Selenium
和BeautifulSoup
抓取
页面,然后单击按钮转到
下一
页
进行
抓取
python-3.x
、
selenium
、
beautifulsoup
我正在
抓取
一个网页,其中有一个表与子tr和td标签。我能够正确地刮掉第一
页
。但是要转到
下一
页
,我需要一个按钮点击。我需要一些帮助来理解这一点。我正在
使用
Selenium
and Beautiful soup来获得页面响应。page btn.click() 单击按钮可转到
下一
页
,但无法
抓取
2-14<e
浏览 28
提问于2019-10-01
得票数 0
1
回答
如何在python中
使用
selenium
或scrapy点击“
下一
步”按钮
python
、
selenium
、
web-scraping
、
scrapy
、
data-mining
我正在尝试
使用
scrapy从flipkart.com中
抓取
一些数据。除了翻到
下一
页
,我什么都拿到了。首先,我尝试
使用
scrapy,然后
使用
selenium
。实际
上
,一个类有
上
一
页
和
下一
页
的
两个链接。
使用
scrapy:我无法获取任何结果。我得到
的
是空白输出。
使用
selenium
:每当我尝试点
浏览 45
提问于2021-02-10
得票数 1
3
回答
Selenium
以编程方式单击next按钮,直到最后一
页
。
python
、
selenium
、
web-scraping
嗨,我刚开始
使用
web
抓取
,一直在尝试用
Selenium
在python中刮。当我通过部分链接找到next按钮时,自动单击将继续到
下一
个线程,例如页面1->页面2->
下一
个线程
的
页面1->
下一
个线程
的
页面2。driver, 10).until(EC.p
浏览 4
提问于2018-05-25
得票数 1
回答已采纳
1
回答
Python:在xpath查询结果问题上单击()函数
python
、
xpath
、
selenium-webdriver
我在试图单击xpath查询中
的
a href标记时遇到了问题,所讨论
的
行是element = atag.xpath(".import timeimport lxml.html as LHimport sys from
selenium
import webdriver
浏览 2
提问于2017-07-25
得票数 0
回答已采纳
2
回答
检查Google搜索结果中
的
页面位置
java
、
google-search
据我所知,谷歌SOAP搜索API似乎存在很长一段时间
的
问题。
浏览 4
提问于2010-11-13
得票数 4
回答已采纳
1
回答
使用
Selenium
的
Python :分页问题
python
、
selenium
、
pagination
我正在
使用
Python中
的
Selenium
进行
抓取
,在那里,我试图通过单击“递增数量”按钮来
循环
在bigkinds.or.kr
上
登陆
页
面。根据Chrome检查器,
下一
页
位于以下HTML中: <div class="btmDelBtn">getSearchResultNew(5)">5</
浏览 5
提问于2017-06-13
得票数 0
回答已采纳
1
回答
使用
selenium
和python在
抓取
数据
的
同时迭代单击
python
、
selenium-webdriver
、
web-scraping
、
beautifulsoup
我正在尝试从这个网页中
抓取
数据。
浏览 6
提问于2018-02-14
得票数 0
回答已采纳
2
回答
Python -如何在URL中不分页地刮分页
python-3.x
、
web-scraping
如何
使用
URL访问
下一
页
,内容如下:我知道如何
使用
刮取库(BS4、
Selenium
),但我不知道如何
抓取
这样
的
站点。我一直在玩谷歌Chrome开发工具,但没有成功。我知道pubmed有API,但是API不返回我需要
的
信息(天气文章是否可以免费下载)。像Python这样
的
抓取
站点通常
的
工作流程是什么?
浏览 0
提问于2019-07-05
得票数 0
回答已采纳
1
回答
有没有一个很好
的
方法来
循环
遍历由javascript pageNav值定义
的
上百个页面?
python
、
selenium
、
web-scraping
我正在做一个网络
抓取
项目,我试图爬行通过数百
页
的
搜索结果,并将每个页面上显示
的
100个链接
的
ID存储到一个
列表
中。我已经存储了第一
页
的
链接I,但我正在寻找一种有效
的
方式来移动到
下一
页
,存储I,移动到
下一
页
,存储I等。我已附加我的当前代码存储在第一
页
上
的
I,以及搜索结果
的
页面导航网站
的<
浏览 0
提问于2021-02-04
得票数 0
2
回答
我不能
抓取
每个链接内容
的
具体时间段从确实
python
、
selenium
、
selenium-webdriver
、
web-scraping
、
selenium-chromedriver
我是python和web scraping
的
新手。您
的
帮助我们将不胜感激。我在编程和练习方面是新手。我正在
使用
python和
selenium
进行web
抓取
。 我正在试着从事实
上
抓取
数据。目标是找到过去24小时内发布
的
所有工作,并刮刮外部链接,这是在工作详细信息页面上与链接文本“申请公司网站”,标题,公司,名称,位置,工作描述。我写了以下代码,但是它正确地获取了页面上
的
所有链接,然后当我试图打开每个链接时,它只打开了第一个链接。我怎样才
浏览 33
提问于2020-07-15
得票数 1
回答已采纳
2
回答
消息:没有这样
的
元素:无法找到元素:{"method":"css selector","selector":".pagination-shortcut- link "}单击
下一
页
链接
python
、
selenium
、
xpath
、
css-selectors
、
webdriverwait
我正在尝试学习如何
使用
Python在网上
抓取
新闻标题,方法是跟随我找到
的
这篇文章:我尝试在以下页面中
使用
它,特别是查看当地
的
一家州机构: from
selenium
import webd
浏览 2
提问于2020-09-24
得票数 1
1
回答
使用
BeautifulSoup &
Selenium
解析HTML内容
python
、
selenium
、
beautifulsoup
from
selenium
import webdriverfrom bs4 import BeautifulSoup=BeautifulSoup(driver2.page_source) 我正在尝试获取每个"td“、"Class":"Match Centre”
的
HREF,我需要
使用
selenium
浏览页面,但我
浏览 6
提问于2016-05-03
得票数 1
回答已采纳
2
回答
Selenium
:如果存在,如何
使用
while
循环
单击链接?
selenium
我正在尝试编写一个Python程序,如果该按钮是可点击
的
,则
使用
Selenium
单击一个按钮转到
下一
页
。这是因为我是从不同数量
的
网页
上
抓取
网页。我尝试
使用
一个while
循环
来检查href属性,但是代码没有单击按钮,也没有返回错误。如果我只编写button.click(),但不需要对href属性进行while
循环
或条件检查,那么程序就会正确地单击按钮。 我
的
代码还具有“变量不是无”<
浏览 5
提问于2020-12-27
得票数 0
回答已采纳
2
回答
google play
的
30多个搜索结果
android
、
google-play
谷歌已经做出了新
的
布局和设计
的
游戏商店。为了追踪应用程序
的
存储位置,谷歌是否有办法在桌面浏览器中获得超过30种搜索结果,比如通过浏览器控制台之类
的
方式?
浏览 5
提问于2022-07-07
得票数 -3
1
回答
使用
selenium
显式等待python等待页面加载
python
、
selenium
、
selenium-webdriver
、
youtube
我是一个在windows
上
使用
python3
的
初学者。我
的
问题是,我试图从youtube播放
列表
中
抓取
标题和投票(喜欢/不喜欢),似乎无法让我
的
脚本等待
下一
页
加载,然后在
下一
页
上进行投票,直到播放
列表
结束。取而代之
的
是,它只获取标题,在复制完所有内容后,从第一
页
开始投票重复这一过程,并只在
下一
页
<em
浏览 10
提问于2018-01-30
得票数 0
1
回答
使用
Selenium
和Scrapy通过onclick
抓取
显示
的
数据
python
、
selenium
、
scrapy
我
使用
Scrapy用python编写了一个脚本,以便
使用
身份验证从网站上
抓取
数据。我正在
抓取
的
页面真的很痛苦,因为主要是由javascript和AJAX请求组成
的
。页面的所有主体都放在允许
使用
submit按钮更改页面的<form>中。URL不会改变(而且是一个.aspx)。我已经成功地从第一
页
抓取
了所需
的
所有数据,然后
使用
以下代码更改了单击此输入按钮
的
页面:
浏览 38
提问于2019-02-21
得票数 0
1
回答
在带额外随机数
的
分页站点
上
迭代
Selenium
python
、
selenium
、
selenium-webdriver
、
web-scraping
、
selenium-chromedriver
我想刮
的
网站是分页
的
,但我不能只是重复页面,因为每个
下一
页
都有一些额外
的
随机数在其中。 (第二
页
) 如果我只是更改(
页
)它将结果为空白
页
,这是我
的
代码顺便说一句,谢谢!
浏览 4
提问于2022-06-22
得票数 1
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
《权力的游戏》最终季上线!谁是你最喜爱的演员?这里有一份Python教程
Python爬虫(5):比Selenium快100倍的方法爬东方财富网财务报表
用python爬虫框架scrapy抓取王者荣耀官网所有英雄信息
Python:Selenium模拟浏览器抓取淘宝商品美食信息
Python 爬取煎蛋妹子图
热门
标签
更多标签
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
活动推荐
运营活动
广告
关闭
领券