scrapy selenium驱动程序没有遵循
Scrapy是一个基于Python的开源网络爬虫框架，用于快速、高效地从网页中提取数据。它具有高度的可定制性和可扩展性，可以通过编写简洁的代码来实现各种复杂的爬虫任务。
Selenium是一个用于自动化浏览器操作的工具，可以模拟用户在浏览器中的操作行为，例如点击、输入、提交表单等。它常用于需要与JavaScript交互的网页爬取任务。
驱动程序是指与特定浏览器版本兼容的Selenium驱动程序，用于控制浏览器的行为。不同的浏览器需要使用不同的驱动程序，例如Chrome需要使用ChromeDriver，Firefox需要使用GeckoDriver。
遵循是指驱动程序是否符合Selenium的规范和要求。如果驱动程序没有遵循Selenium的规范，可能会导致无法正常运行或出现错误。
在使用Scrapy和Selenium进行网页爬取时，确保选择与所使用的浏览器版本兼容的驱动程序是非常重要的。同时，还需要注意Scrapy和Selenium的版本兼容性，以确保二者能够正常配合使用。
腾讯云提供了一系列与云计算相关的产品和服务，其中包括：
- 云服务器（CVM）：提供可扩展的虚拟服务器实例，用于运行各种应用程序和服务。
- 产品介绍链接：https://cloud.tencent.com/product/cvm
- 云数据库MySQL版（CDB）：提供高性能、可扩展的关系型数据库服务，适用于各种应用场景。
- 产品介绍链接：https://cloud.tencent.com/product/cdb_mysql
- 云原生应用引擎（TKE）：提供容器化应用的部署、管理和扩展能力，支持Kubernetes等开源容器编排平台。
- 产品介绍链接：https://cloud.tencent.com/product/tke
- 云存储（COS）：提供安全、可靠、低成本的对象存储服务，适用于海量数据存储和访问。
- 产品介绍链接：https://cloud.tencent.com/product/cos
- 人工智能（AI）：提供丰富的人工智能服务，包括图像识别、语音识别、自然语言处理等。
- 产品介绍链接：https://cloud.tencent.com/product/ai
- 物联网（IoT）：提供全面的物联网解决方案，包括设备管理、数据采集、数据分析等功能。
- 产品介绍链接：https://cloud.tencent.com/product/iot
请注意，以上产品和服务仅作为示例，具体的选择应根据实际需求和项目要求进行评估和决策。
相关·内容
1回答
scrapy selenium驱动程序没有遵循
python、selenium、scrapy
from scrapy_selenium import SeleniumRequestfrom selenium import webdriver} documentation on scrapy-selenium我已经一步一步地遵循了说明，但是驱动程序没有遵循任何链接。我相信这两个请求都是由scrapy处理的
浏览 68提问于2019-05-17得票数 1
1回答
如何使Selenium脚本更快地工作？
python、selenium、web-scraping、scrapy、middleware
我使用和Scrapy来爬行网站。Crawled 1 pages (at 1 pages/min)
我使用CSS选择器而不是XPATH来优化时间。
浏览 4提问于2016-08-19得票数 3
回答已采纳
1回答
Python Scrapy - Selenium -请求下一页
python、selenium、scrapy
问题是它总是从第一个url ("")抓取，而不是遵循我给它的url。为什么下面的代码不能从我在reqeusts中传递的新urls中抓取？我没主意了.from scrapy.http.request import Requestfrom selenium.webdriver.common.byimport By
from selenium.webdriver.support i
浏览 2提问于2017-06-14得票数 1
1回答
如何使Selenium与Scrapy并行运行？
python、selenium、scrapy
我试着用Scrapy和Selenium来刮一些urls。有些urls由Scrapy直接处理，而其他urls则首先使用Selenium处理。问题是: Selenium在处理url时，Scrapy没有并行处理其他url。它等待work驱动程序完成它的工作。但似乎我没有经验去纠正它。
import <em
浏览 5提问于2020-04-13得票数 3
回答已采纳
1回答
如何为selenium和Scrapy编写定制下载中间件？
selenium、scrapy
我在selenium和scrapy object之间的通信有问题。谢谢!
浏览 2提问于2016-10-27得票数 3
1回答
Python Scrapy/Selenium跳过了我的大部分可迭代代码
python、selenium、scrapy
> div.pricing > div.price > div.standardprice').text {"using": by, "value": value})['value']
File "/usr/local/lib/
浏览 0提问于2017-01-10得票数 0
2回答
使用selenium单击下拉菜单，抓取不起作用
javascript、python、selenium、web-scraping、scrapy
我的代码选择了美洲，但是没有加载新数据。我认为在后台有一些javascript没有被激活。from scrapy.http import FormRequest, Request
fromselenium
浏览 0提问于2015-07-17得票数 0
1回答
scrapy和硒似乎是相互影响的
python、selenium、selenium-webdriver、web-scraping、scrapy
您好，我没有太多的经验在网络抓取或使用抓取和硒。如果我的代码中有太多糟糕的做法，请先道歉。我的代码背景简介:我尝试使用scrapy从多个网站抓取产品信息，我还使用selenium，因为我需要单击网页上的“查看更多”按钮和“不谢谢”按钮。由于网站上有不同类别的href，我也需要请求那些“子链接”，以确保我不会错过根页面上没有显示的任何项目。问题是，我注意到在这个for循环for l in product_links:中，scrapy和selenium的行为似乎很奇怪。from webScr
浏览 20提问于2019-01-13得票数 0
回答已采纳
1回答
Scrapy:必须设置SELENIUM_DRIVER_NAME和SELENIUM_DRIVER_EXECUTABLE_PATH
python、windows、selenium、scrapy
我开始了一个新的scrapy项目，并创建了一个爬虫：2019-07-05 14:14:44 [scrapy.middleware] WARNING: Disabled SeleniumMiddleware: SELENIUM_DRIVER_NAMEand SELENIUM_
浏览 19提问于2019-07-06得票数 1
回答已采纳
1回答
如何并行运行Selenium-scrapy
python、selenium、web-scraping、scrapy、multiprocessing
我正在尝试使用scrapy和selenium来抓取javascript网站。我使用selenium和一个chrome驱动程序打开javascript网站，使用scrapy从当前页面抓取到不同列表的所有链接，并将它们存储在一个列表中(到目前为止，这是最好的方法，因为尝试使用seleniumRequest然后，我循环遍历URL列表，在selenium驱动程序中打开它们，并从页面中抓取信息。到目前为止，这个网站每分钟抓取16个页面，考虑到这个网站上的列表数量，这并不理想。理想
浏览 36提问于2021-02-05得票数 0
回答已采纳
3回答
避免在调用selenium时打开远程服务器上的浏览器
selenium-webdriver、putty、remote-server、xming
我已经使用webdriver编写了一个selenium应用程序。我希望在远程服务器上运行它。当我通过putty (以及Xming)登录服务器时，selenium尝试只在服务器上打开浏览器，并通过外部显示器加载页面。有没有可能发生这样的事情，或者只在服务器上打开是唯一的选择(这是痛苦的缓慢)。如果我也遗漏了什么，请告诉我。
提前谢谢。
浏览 3提问于2013-06-04得票数 3
1回答
Scrapy能和Chrome浏览器一起使用吗？
python、google-chrome、selenium、scrapy
我在使用Scrapy+Selenium，但我真的希望在这个项目中使用ScrapyJS/Splash。然而，看起来刮起/飞溅的组合受到了该网站私人浏览墙的影响。
能告诉Scrapy使用Chrome吗？我知道Selenium有相当多的驱动程序，关于如何使用每个驱动程序都有很好的文档记录，但是我无法找到任何关于Scrapy是否支持其他浏览器或其他人是否已经支持其他浏览器的信息。谷歌/所以搜索也没有为我照亮这一点。
浏览 3提问于2016-03-22得票数 3
回答已采纳
1回答
抓取-动态等待页面加载- selenium + Scrapy
python、selenium、web-scraping、scrapy
我试图对此进行并行化，但时间并没有变得更好，因为如果驱动程序实例(使用Chrome或PhantomJS)的创建占用了大部分时间，那么创建时间就不会更好。1) scrapy是否以paralel自动运行多个url请求？2)如何使用scrapy设置动态超时，如Selenium的WebDriverWait wait.until()
3)如果没有可用于刮除的动态设定时间，解决方案是使用scrapy</e
浏览 5提问于2017-09-18得票数 3
回答已采纳
1回答
Scrapy使用selenium和chrome驱动程序在多个请求中保留会话
python、scrapy
我正在使用Scrapy和Selenium和chrome驱动程序来抓取一个网站。我不能刮网站使用Scrapy只是因为有一些保护机制在网站上实施，这是给404。当我在scrapy中使用selenium时，我能够访问页面html。但问题是，当我使用selenium时，我无法保留通过scrapy访问的所有链接上的会话cookie。# -*- coding: utf-8 -*-from selenium</
浏览 0提问于2017-09-18得票数 0
1回答
Selenium运行Firefox驱动程序，用于不使用
python、selenium、scrapy
我使用了的火狐驱动程序来加载和废弃项目中的一些蜘蛛中的网页。问题：--不使用Selenium的蜘蛛
这个蜘蛛没有使用Selenium，我希望它不会运行Firefox。class MySpider(scrap
浏览 3提问于2016-12-10得票数 2
回答已采纳
1回答
Scrapy-Selenium: Chrome驱动程序不加载页面
python、selenium、scrapy、selenium-chromedriver、scrapy-selenium
我可以让Chromedriver加载我想要的基本Selenium程序的页面，但是关于第二个项目(使用Scrapy)的一些内容阻止了它加载URL。相反，它只能在地址栏中显示数据：、。/chromedriver")第二个项目(不加载页面)：from scrapy_selenium importchromedriver")
d
浏览 13提问于2022-04-25得票数 -1
1回答
刮伤请求不起作用
python、selenium、web-scraping、scrapy、scrapy-spider
我正在使用和Scrapy从selenium中抓取每一个信息。# -*- coding: utf-8 -*-from scrapy.contrib.link
浏览 5提问于2015-03-12得票数 2
1回答
无法使用selenium-scrapy分页，只能提取第一页的数据。
selenium、selenium-webdriver、web-scraping、pagination、scrapy
问题是，我能够与"sortby“选项交互，并使用Selenium选择”最近“，并使用Scrapy为第一页抓取数据。但是，我无法提取其他页面的数据，Selenium Web驱动程序不知何故不呈现下一页。代码片段附在这里(一些信息由于机密性而被删除)import selenium.webdriver as webdriverfrom
浏览 8提问于2022-09-17得票数 0
1回答
为每个url请求两次Scrapy + selenium请求
python、selenium、web-scraping、scrapy
import scrapy name = "product_spider/a')
next.click()
break
浏览 0提问于2018-06-06得票数 4
回答已采纳
2回答
在selenium浏览器单击后刷新抓取响应
python-2.7、selenium、web-scraping、web-crawler、scrapy
虽然我的selenium浏览器正在浏览所有的页面，但是scrapy响应仍然是相同的，并且它最终抓取了相同的响应(页面次数)。item['url'] = response.urljoin(sel.xpath('@href').extract()[0])
request = scrapy.Request
浏览 0提问于2015-11-29得票数 2
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
活动推荐
腾讯云开发者
