腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
2
回答
多个
Selenium
实例
的
Scrapy
(
并行
)
python
、
selenium
、
scrapy
我需要用
Selenium
和
Scrapy
抓取很多网址。为了加快整个过程,我正在尝试创建一组共享
的
Selenium
实例
。我
的
想法是,如果需要,让一组
并行
Selenium
实例
可用于任何Request,如果需要,则提供released。我试图创建一个Middleware,但问题是Middleware是顺序
的
(我看到所有的驱动程序(我称之为浏览器)都在加载urls,而且似乎是顺序
的
)。我希望所有的驱动程序<e
浏览 84
提问于2019-01-23
得票数 0
1
回答
抓取-动态等待页面加载-
selenium
+
Scrapy
python
、
selenium
、
web-scraping
、
scrapy
我花了平均每页1.35秒
的
时间下载内容。1)
scrapy
是否以paralel自动运行
多个
url请求?2)如何使用
scrapy
设置动态超时,如
Selenium
的
WebDriverWait
浏览 5
提问于2017-09-18
得票数 3
回答已采纳
1
回答
Python
Scrapy
-
Selenium
-请求下一页
python
、
selenium
、
scrapy
然后,在进入下一页之前,它应该获得所有指向列出
的
文章
的
链接。问题是它总是从第一个url ("")抓取,而不是遵循我给它
的
url。为什么下面的代码不能从我在reqeusts中传递
的
新urls中抓取?我没主意了.from
scrapy
.http.request import Requestfrom
selenium
.webdriver.comm
浏览 2
提问于2017-06-14
得票数 1
1
回答
如何使
Selenium
与
Scrapy
并行
运行?
python
、
selenium
、
scrapy
我试着用
Scrapy
和
Selenium
来刮一些urls。有些urls由
Scrapy
直接处理,而其他urls则首先使用
Selenium
处理。问题是:
Selenium
在处理url时,
Scrapy
没有
并行
处理其他url。它等待work驱动程序完成它
的
工作。我尝试在不同
的
进程中使用不同
的
init参数(使用多处理池)来,但是我得到了twisted.internet.error.ReactorNotRestartable。请告
浏览 5
提问于2020-04-13
得票数 3
回答已采纳
1
回答
抓取跟随javascript输入按钮
xpath
、
web-scraping
、
scrapy
、
scrapy-spider
type="submit">类GetData显示一些可点击
的
图标我已经尝试了下面的代码,只是看看是否有
scrapy
跟随输入,但没有成功。links = sel.xpath("//input[@class='GetData']"
浏览 1
提问于2016-01-21
得票数 3
回答已采纳
1
回答
在
Selenium
Grid上注册幻影on节点
selenium
、
selenium-webdriver
、
phantomjs
、
selenium-grid
我已经使用
多个
chrome
实例
在
Selenium
上
并行
运行了我
的
测试。如何设置
Selenium
,使我可以使用
多个
幻影
实例
来运行测试,而不是使用chrome。
浏览 1
提问于2017-06-02
得票数 0
回答已采纳
1
回答
我能在java
的
父选项卡和子选项卡中
并行
运行测试吗?(硒TestNG )
java
、
selenium
、
testing
、
testng
我有一个场景可以
并行
运行两个不同
的
测试来验证位置。我
的
要求是在两个选项卡中运行。每个选项卡是完全独立
的
。 我能否使用driver.getHandles()实现这一点?
浏览 2
提问于2020-05-15
得票数 0
1
回答
如何
并行
运行
Selenium
-
scrapy
python
、
selenium
、
web-scraping
、
scrapy
、
multiprocessing
我正在尝试使用
scrapy
和
selenium
来抓取javascript网站。我使用
selenium
和一个chrome驱动程序打开javascript网站,使用
scrapy
从当前页面抓取到不同列表
的
所有链接,并将它们存储在一个列表中(到目前为止,这是最好
的
方法,因为尝试使用seleniumRequest理想情况下,我会让
selenium
驱动程序
并行
打开链接,如下所示: How can I make
Selenium
run in par
浏览 36
提问于2021-02-05
得票数 0
回答已采纳
1
回答
Selenium
运行Firefox驱动程序,用于不使用
python
、
selenium
、
scrapy
我使用了
的
火狐驱动程序来加载和废弃项目中
的
一些蜘蛛中
的
网页。问题:
Selenium
只在运行已在webdriver.Firefox()中使用
的
蜘蛛时才运行Firfox
实例
。 为什么这很重要?在蜘蛛完成后,我将退出Firefox
实例
,但在不使用
Selenium
浏览 3
提问于2016-12-10
得票数 2
回答已采纳
1
回答
Selenium
中
的
并行
自动化
performance
、
selenium
、
parallel-processing
、
automation
我对
Selenium
还不熟悉。我怀疑
的
是,提前谢谢。快乐编码:)
浏览 7
提问于2020-02-13
得票数 0
2
回答
scrapy
中
的
Selenium
不起作用
python
、
python-2.7
、
selenium
、
selenium-webdriver
、
scrapy
我有一个
scrapy
Crawlspider,它可以很好地解析链接并返回html内容。然而,对于javascript页面,我使用
Selenium
来访问“隐藏”内容。问题是,虽然
Selenium
可以在简陋
的
解析之外工作,但它不能在parse_items函数内部工作from
scrapy<
浏览 3
提问于2016-06-16
得票数 0
5
回答
Selenium
支持多线程吗?
multithreading
、
testing
、
selenium
、
webdriver
Selenium
支持多线程吗? Thread.Sleep(5000); } 希望问题是清楚
的
。
浏览 1
提问于2012-03-16
得票数 5
回答已采纳
1
回答
如何在两台不同
的
机器上实现机器人框架
并行
测试执行?
java
、
selenium
、
robotframework
、
selenium-grid
我正在使用RobotFramework和
selenium
2library实现web应用程序
的
自动化。我尝试过
并行
执行。如果我在一台机器上
并行
运行3个
实例
,那么它正在运行。但是我想在不同
的
机器上运行它,因为我已经尝试了以下代码:-java -jar <
selenium
.jar> -role hub (可选端口f.e.此主机可用于
se
浏览 1
提问于2018-07-05
得票数 2
1
回答
刮擦爬虫占用大量CPU
python-2.7
、
scrapy
、
web-crawler
、
cpu-usage
、
scrapyd
我有
多个
蜘蛛在
多个
实例
中
并行
运行。它们都在使用几乎100%
的
cpu使用率。我搜索了解决方案并找到了这个页面 提前感谢
浏览 6
提问于2014-10-15
得票数 2
回答已采纳
6
回答
尝试
并行
地使用
Selenium
实现自动化,但
多个
webdriver
实例
崩溃了
selenium
、
parallel-processing
、
webdriver
、
phantomjs
因此,我正在尝试创建一个java程序,它使用
Selenium
自动化WebDriver来执行网站上
的
任务。目前,我正在将它用于工作,以便自动化一个恼人
的
任务,即用户必须将文件上传到我们
的
数据库。我已经成功地制作了一个自动化
的
程序,并为自己节省了几个小时
的
手工工作。 现在我正在尝试让程序在parallel中运行
多个
浏览器。我已经用我
的
程序
的
一个更简单
的
版本测试了这一点,并通过使用自己
的
WebDriver
浏览 89
提问于2013-06-26
得票数 16
3
回答
Scrapy
是单线程还是多线程?
python
、
multithreading
、
scrapy
、
web-crawler
在
Scrapy
中几乎没有并发设置,比如。这是否意味着
Scrapy
crawler是多线程
的
?所以如果我运行
scrapy
crawl my_crawler,它会同时
并行
地触发
多个
请求吗?我问这个是因为,我读到过
Scrapy
是单线程
的
。
浏览 0
提问于2014-07-15
得票数 17
1
回答
在无头模式下用firefox改进抓取和硒
python
、
selenium
、
scrapy
、
firefox-headless
我正在抓取一个javascript重站点,我已经设置了一个流浪
实例
来检查可行性( 1GB RAM )。系统在解析了几个urls之后就崩溃了。我无法确定此设置
的
内存需求和崩溃原因。然而,我让htop
并行
运行,并在系统崩溃前获得了屏幕截图,如下所示。我怀疑记忆是不够
的
,但我不知道我需要多少。因此,我希望: 替代
浏览 3
提问于2018-01-25
得票数 0
1
回答
用硒爬行而不是刮刮
python
、
selenium
、
selenium-webdriver
、
web-scraping
、
scrapy
我已经阅读了所有使用
scrapy
对AJAX页面进行抓取
的
线程,并安装了
selenium
来简化任务,我
的
爬行器可以部分爬行,但不能将任何数据输入到我
的
项目中。页面上使用xpath: //div[@id="a_NMContent/ text ()") import
scra
浏览 4
提问于2014-12-20
得票数 5
1
回答
使用
scrapy
splash对抓取速度有显著影响吗?
python
、
selenium
、
web-scraping
、
scrapy
、
scrapy-splash
到目前为止,我一直在使用
scrapy
和编写自定义类来处理使用ajax
的
网站。但是,如果我使用
scrapy
-splash,据我所知,它会在javascript之后抓取呈现
的
html,爬虫
的
速度会受到严重影响吗?使用
scrapy
抓取一个普通
的
html页面所需
的
时间与使用
scrapy
-splash抓取javascript渲染
的
html所需
的
时间进行了怎样
的
比较?最后,
scrapy
浏览 3
提问于2018-04-18
得票数 12
回答已采纳
1
回答
使用WebDriverandGrid2
并行
执行RSpec测试
ruby
、
rspec
、
parallel-processing
、
webdriver
WebdriverParallel GUI自动化工具:Grid2脚本语言:RubyBDD工具: Rspecdef set_up Assert.new(@driver).verify_text_present("My Dashboard")步骤: 启动中心使用java -jar
selenium
-server-staalone2.3.0.jar
浏览 4
提问于2012-05-09
得票数 1
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
Python中的并行处理:实例编程指南
使用scrapy和selenium实现动态网页的分页爬取
爬虫入门基础探索Scrapy框架之Selenium反爬
视频剪辑方法:如何将多个视频快速批量合并的实例解析
简单几步骤复制某瓜视频中多个作者页视频的实例步骤
热门
标签
更多标签
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
活动推荐
运营活动
广告
关闭
领券