腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
使用
Python
和
selenium
,
在
无限
滚动
网
站上
获取
元素
?
python
、
selenium
、
scroll
我需要从这个网
站上
的图片中收集所有的"alt“
和
urls:https://ibb.co/album/D5f4bg 我知道如何
获取
这些信息,只需
在
包含图像的div上设置驱动程序,并
获取
我需要的所有属性,让我停下来的是图像是通过向下
滚动
加载的,而不是按页码加载的,我如何在收集所需信息之前加载所有图像?
浏览 15
提问于2021-07-21
得票数 1
3
回答
用于web抓取的
Selenium
与BeautifulSoup
javascript
、
python
、
selenium
、
beautifulsoup
我正在
使用
Python
从一个网
站上
抓取内容。首先,我
在
Python
上
使用
了BeautifulSoup
和
Mechanize,但我看到网
站上
有一个通过JavaScript创建内容的按钮,所以我决定
使用
Selenium
。既然我可以通过像driver.find_element_by_xpath这样的方法
使用
Selenium
查找
元素
并
获取
它们的内容,那么当
浏览 1
提问于2013-07-03
得票数 53
回答已采纳
2
回答
如何抓取youtube视频,以获得比一页更多的视频?
python
、
beautifulsoup
、
youtube
我正在
使用
BeautifulSoup4来做到这一点。我已经成功地找到了视频网址。我面临的问题是,我想收集至少2000每个类别的视频链接。但有一次,YouTube只显示了20个视频。
浏览 1
提问于2019-04-25
得票数 1
回答已采纳
2
回答
获取
需要用户交互的页面
python
、
web-crawler
、
fetch
、
urllib3
在
Python
中,我试图从一个特定的网站
获取
页面。在这个网站中,有些部分的信息不能在HTML页面中完全访问,需要一些用户交互。有没有办法
在
Python
中处理这些超链接并
获取
所有这些情况的全部评论?
浏览 3
提问于2015-12-21
得票数 1
回答已采纳
2
回答
请求-html
和
无限
滚动
python-3.x
、
python-requests-html
我正在检查
python
库:requests。看上去很有趣,很容易,也很清晰。但是,我不知道如何
使用
无限
滚动
来呈现页面。 从他们的文档中,我了解到我应该呈现一个具有特殊属性的页面(
滚动
)。我
在
努力,但我不知道到底是怎么回事。我知道如何
使用
selenium
来处理
无限
滚动
,但我不知道
使用
request.html是否可行。noticeName = html.find('h2.noticeName&
浏览 1
提问于2019-06-13
得票数 3
2
回答
用
Python
中的
Selenium
停止动态页面中的
滚动
javascript
、
python
、
html
、
selenium
、
infinite-scroll
大家好,我试着用
selenium
和
scrapy从中抓取一些信息elem.send_keys(Keys.PAGE_DOWN)browser.execute_script("window.scrollTo(0, document.b
浏览 0
提问于2015-10-04
得票数 2
回答已采纳
1
回答
有没有任何快速的方法来刮一个有
无限
滚动
的网站?
python
、
web-scraping
我正在尝试
使用
python
来抓取一个用
无限
滚动
实现的网站。实际上,网络就是pinterest。我知道如何
使用
selenium
来抓取具有
无限
滚动
的web。但是,WebDriver基本上模仿了访问web的过程,而且速度慢得多,比
使用
BeautifulSoup
和
urllib进行抓取要慢很多。你知道有什么时间有效的方法来刮一个
无限
滚动
的网页吗?谢谢。
浏览 0
提问于2014-12-29
得票数 0
回答已采纳
2
回答
从Youtube上抓取
python
、
selenium
、
xpath
import timefrom bs4 import BeautifulSoupfrom
selenium
.webdriver.chrome.optionsimport Optionsfrom
selenium
.webdriver.support.ui import
浏览 12
提问于2020-11-25
得票数 0
3
回答
如何检查是否无法
使用
Selenium
进一步向下
滚动
python
、
selenium
我
使用
Selenium
+
python
来删除一个有
无限
滚动
的页面(基本上
滚动
到最大值前500个结果显示)driver = webdriver.Firefox()driver.execute_script
浏览 1
提问于2017-06-23
得票数 1
4
回答
使用
python
抓取具有
无限
滚动
功能的站点
python
、
selenium
、
web-crawler
、
scrapy
我一直在做研究,到目前为止,我发现了
python
包,我将计划
使用
它的,现在我试图找出一个好方法来建立一个好方法来建立一个刮板
使用
抓取
无限
滚动
网站。
在
深入研究之后,我发现有一个名为
selenium
的包,它有
python
模块。我有一种感觉,有人已经这样做了,
使用
Scrapy
和
来抓取
无限
滚动
网站。如果有人能指出一个例子,那就太好了。
浏览 2
提问于2014-03-28
得票数 9
1
回答
如何用
Python
在
Selenium
中
滚动
指定的
无限
滚动
元素
python-2.7
、
selenium-webdriver
、
infinite-scroll
我刚接触过
Selenium
,不熟悉JavaScript。我想从顶级故事
在
获得新闻链接。因此,我只需要
滚动
包含标题的容器。我
在
Python
中
使用
Selenium
。我的代码是from
selenium
.webdriver.common.keys import Keys driver我读过如何在页面中刮起
无限
大的卷轴,但是
在<
浏览 6
提问于2016-11-01
得票数 0
1
回答
使用
selenium
webdriver
滚动
后
获取
更新的页面
python
、
selenium
、
selenium-webdriver
、
web-scraping
、
webdriver
我正在尝试
使用
selenium
webdriver从youtube搜索中抓取标题
和
链接,目前我正在迭代这个过程,直到某个条件变为false。虽然我可以看到页面
在
启动时正在
滚动
,但我得到的数据似乎只来自第一个页面,然后才
滚动
一次。向下
滚动
后如何访问更新后的数据?
浏览 0
提问于2020-07-25
得票数 0
1
回答
从含硒
元素
中提取scrollTop、scrollLeft等
javascript
、
python
、
django
、
selenium
、
webdriver
在
通过scrollTop
滚动
的
Python
/Django
元素
测试中,我希望获得scrollTop的值。
在
JavaScript中,我通过以下方式
获取
此值
在
Python
中,我尝试了以下操作:这给了我如何在
Selenium
中
获取
scrollTop?
浏览 2
提问于2013-05-22
得票数 0
1
回答
Python
-有没有一种方法可以让我从网络上的XHR标签页上抓取信息?
python
、
web-scraping
、
xmlhttprequest
我正试图从一个住房网
站上
搜集一些信息来写一篇研究论文。我不能
使用
请求(我不这么认为),因为它们的用户名
和
密码字段没有"name“,而且它是一个需要登录的站点,所以我尝试
使用
Selenium
。这个网站
使用
无限
滚动
来显示他们的信息。 当我
在
页面上
滚动
时,会弹出推荐列表。我只是想知道是否有任何方法
浏览 0
提问于2020-10-25
得票数 0
1
回答
如何
使用
selenium
抓取链接
和
图像
python
、
selenium
、
selenium-webdriver
、
web-scraping
、
coding-style
我想要得到这些字符的链接
和
图像网站链接 coll_name = driver.find_elements(By.XPATH, '//h1') coll_desc = driver.find_elements
浏览 4
提问于2022-07-30
得票数 -2
1
回答
滚动
到网页底部
python
、
html
、
selenium
、
selenium-webdriver
、
infinite-scroll
问题是,有些网页包含
无限
滚动
。如果这段代码是为特定的网页构建的,我可以
使用
定位
元素
和
滚动
。附言:如果有一个非常大的页面,
在
滚动
几秒钟后将其分解。 你知道怎么做吗?
浏览 0
提问于2015-08-29
得票数 1
1
回答
使用
selenium
从社交媒体网站下载图片
和
视频的
Python
脚本?
python
、
selenium
我想尝试一个
python
脚本,它在运行时从给定的社交媒体网站url下载图片
和
视频。就像我运行
python
XXX.py url时一样,它应该只下载具有各自格式的图像
和
视频,并且应该存储在运行时指定的路径中。 有人能给我一张完成这项任务的路线图吗?谢谢。
浏览 3
提问于2020-02-28
得票数 2
1
回答
从链接到达页面时将
滚动
到底部。
javascript
、
scroll
、
handlebars.js
我有一个问题,一个页面自动
滚动
到中间,而不是从顶部开始,当用户通过链接到达它。例如,当我单击图片下方的"#建议“按钮时,链接会带我到该图像的推荐页面。问题是,如果页面有多个建议,如在这些特定请求中: 页面向下
滚动
了一半。如果还没有上传推荐的话,它似乎会加载得很好。在所有浏览器上似乎都是一个问题,并且根据上传的建议数量,
滚动
看起来被设置为一个随机位置。该页面有一个常规的HTML/CSS头,但顶部英寸以下的所有内容都是handlebars.js脚本。如何才能
使用
户在任何时候到达推荐页面时,都可以从页面顶
浏览 1
提问于2013-08-09
得票数 0
回答已采纳
2
回答
从javascript onclick返回值到变量或
使用
onclick更改全局变量
javascript
、
python
、
html
、
selenium
我正在尝试
获取
网
站上
单击
元素
(任意
元素
)的文本值,将其从javascript返回到
Selenium
(
Python
),并
使用
该信息将所有单击的
元素
放在日志中。甚至可以
使用
selenium
和
javascript实现这一点吗? 此函数可以显示
元素
,但不会返回任何内容(正常的onclick行为)。我知道我可以
使用
selenium
从提醒弹出中读取文本,但
浏览 0
提问于2015-12-14
得票数 10
1
回答
Selenium
Web Driver -如何
获取
所有项目,以防页面在运行时向下
滚动
时加载
元素
?
java
、
selenium-webdriver
我厌倦了解决需要从网页上
获取
产品的问题。只有当用户向下
滚动
页面时,才会加载产品。每次
在
滚动
条上加载12个
元素
。在这个页面上应用了一个叫做
无限
滚动
的类。import org.openqa.
selenium
.By;import org.openqa.
selenium
.WebDriver; import org.openqa.<
浏览 0
提问于2015-11-16
得票数 1
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
用程序揭露生活中的骗局!
python selenium系列常见问题总结
用Python制作“菜鸟学Python”电子书-上篇
python爬虫真的没有那么难,半个小时让你快速上手
python学习之滚动页面函数execute
热门
标签
更多标签
活动推荐
运营活动
广告
关闭
领券