使用Selenium和Scrapy抓取所有下一页

文章/答案/技术大牛

发布

1回答

如何在python中使用selenium或scrapy点击“下一步”按钮

python、selenium、web-scraping、scrapy、data-mining

我正在尝试使用scrapy从flipkart.com中抓取一些数据。除了翻到下一页，我什么都拿到了。首先，我尝试使用scrapy，然后使用selenium。实际上，一个类有上一页和下一页的两个链接。使用scrapy:我无法获取任何结果。我得到的是空白输出。使用selenium:每当我尝试点

浏览 45提问于2021-02-10得票数 1

1回答

如何使用selenium python自动分页？(无需手动选择next按钮)

python-3.x、selenium-webdriver、web-scraping、scrapy、python-requests

我正在抓取图像的网站列表，使用selenium webdriver+scrapy，但每个网站的下一步按钮都有不同的类/div名称，如何自动查找不同网站中的下一页进行抓取？

浏览 11提问于2020-06-20得票数 0

1回答

python、selenium、web-scraping、xpath、scrapy

我正在尝试获取所有的“下一页”，并通过单击页面底部的按钮“下一步”，使用Selenium继续抓取这些页面。我想要得到所有的(第2,3,4页等)。下面是我的代码： import scrapyimport mathimport time class PropertyFoxSpider(scrapy.

浏览 21提问于2021-01-26得票数 0

回答已采纳

2回答

使用python scrapy抓取同一链接的下一页

python、selenium、scrapy

我想抓取链接的下一页：https://www.thetoptens.com/animals/，使用scrapy-selenium点击next按钮，但它抓取了链接的第一页。我也尝试过使用webdriver，但显示了相同的结果。使用scrapy-selenium的代码： import scrapy from scrapy

浏览 35提问于2020-12-17得票数 1

1回答

带有刮刀的Web爬行器，使用木偶和刮除器

javascript、html、reactjs、selenium、scrapy

我必须抓取和刮相当多的网站，这些网站是由React / javascript / html技术组合而成的。这些网站在所有地方都有大约。10万至50万页。我计划使用Selenium和Scrapy来完成爬行和抓取。单是Scrapy就不能对页面进行抓取，使用Selenium来抓取常规的javascript/

浏览 3提问于2019-12-04得票数 0

回答已采纳

1回答

scrapy或selenium:如何检查它会在一段时间后停止

selenium、scrapy

我使用selenium和scrapy来销毁一个网站，selenium firefox窗口会在一个页面停留一段时间(我想超过一分钟)。因为我将selenium超时设置为20秒我想问题出在scrapy上。scrapy会在无法捕获数据时停止吗？多长？

浏览 2提问于2014-08-10得票数 0

1回答

无法使用selenium-scrapy分页，只能提取第一页的数据。

selenium、selenium-webdriver、web-scraping、pagination、scrapy

问题是，我能够与"sortby“选项交互，并使用Selenium选择”最近“，并使用Scrapy为第一页抓取数据。但是，我无法提取其他页面的数据，Selenium Web驱动程序不知何故不呈现下一页。我的意思是自动抓取数据。import scrapy import selenium.webdrive

浏览 8提问于2022-09-17得票数 0

1回答

使用Selenium和Scrapy通过onclick抓取显示的数据

python、selenium、scrapy

我使用Scrapy用python编写了一个脚本，以便使用身份验证从网站上抓取数据。我正在抓取的页面真的很痛苦，因为主要是由javascript和AJAX请求组成的。页面的所有主体都放在允许使用submit按钮更改页面的<form>中。URL不会改变(而且是一个.aspx)。我已经成功地从第一页抓取了所需的所有数据，然后使用以下代码更改了单击此输入按钮的页面：

浏览 38提问于2019-02-21得票数 0

1回答

增量分页值Scraping+Selenium

python、python-3.x、selenium、web-scraping、scrapy

我正在尝试使用Selenium+Scrapy来抓取一个以恐龙方式生成的网站。2.-提取完成后，搜索next按钮并获取href属性。from selenium impo

浏览 2提问于2022-03-27得票数 1

1回答

如何让scrapy遵循javascript生成的url？

python、selenium、web-crawler、scrapy、scrapy-spider

我想抓取这个网站的新闻：new.scut.edu.cn，但在它的子网站，如，右下角的下一页(中文下一页) url是由javascript生成的。下一页的html源代码是<a name="_l_p_n" href="javascript:if(true){a_next('/s/22/t/4/p/69/c/7/i//li

浏览 6提问于2015-06-07得票数 2

1回答

使用selenium对javascript元素进行抓取尝试

javascript、selenium、scrapy

我是一个刮刮和硒的新手。我想要抓取的页面使用按钮上的js脚本转到下一页。我在SO上找到了部分代码(Click a Button in Scrapy)，但我似乎无法让它工作。from selenium import webdriver name = 'spidypy'我多次收到以下错误消息： selenium

浏览 17提问于2019-03-25得票数 0

2回答

运行结果很差

scrapy

刚刚开始使用Scrapy，我希望能在正确的方向上有所作为。我想从这里抓取数据： import scrapy name = 'sportstatsresults.append(result) print(result) 现在我需要转到下一个页面showDetails(&

浏览 2提问于2016-05-12得票数 0

1回答

python抓取规则在google结果中进行网络抓取

python、python-2.7、xpath、web-scraping、scrapy

我正在尝试让scrapy (1.0)遍历所有google结果，并且我可以毫不费力地抓取结果的第一页，但是我不能让抓取器遍历下面的页数(我认为这叫做遍历？)。我尝试使用“规则”：但我一直收到错误： NameError: name 'Rule&#x

浏览 2提问于2015-07-11得票数 0

1回答

如何报废网站上的所有页面(第1页直到无穷大)

python、xpath、web-scraping、css-selectors、scrapy

伙计们，我想从上抓取一切都好，我抓取它的成功from scrapy.loader import ItemLoader from scrapy

浏览 1提问于2016-07-25得票数 0

回答已采纳

1回答

在搜索Google时转到下一页

python、python-3.x、web-scraping、beautifulsoup

请参阅以下链接和屏幕截图 Hotel List Dublin on Google ? 我想知道这里有没有人以前通过过这个问题？我已经成功地从第一页抓取了数据，但我需要为那里的每一页做这件事请看下面我的当前代码。我已经注释掉了下一页的部分，因为我不知道如何让它工作 from bs4 import BeautifulSoupimport sysimport

浏览 10提问于2019-12-18得票数 0

1回答

抓取句柄302重定向

python、http、web-scraping、scrapy、http-status-code-302

我正在尝试用一个粗糙的CrawlSpider抓取一个网站，问题是这个网站一直在随机地重定向我，这意味着一个url有时可能会加载，有时会被重定向到某个页面。我试着改变我的用户代理，尝试通过创建一个类似于浏览器发送的http头来模仿浏览器的行为，即使我使用crawlera发送请求，也没有解决我的问题。如果有人能帮我度过难关，我将不胜感激2017-11-06 02:11:14 [scrapy.core.engine] INFO: Spider opened 2017-11-06 02:11:14 [scrapy.ex

浏览 2提问于2017-11-06得票数 0

1回答

scrapy+selenium如何抓取一个不同的页面列表？

python、selenium、scrapy、web-crawler

我也是Python和Scrapy的新手，这是我的第一个项目。这个网站没有一种简单的方法来跟踪链接，所以我不得不想出一些东西。o=218776"，我选择页面的第一个链接并使用selenium打开它，一旦在这里我获得了我需要的数据并单击”下一页“按钮，但这里是棘手的部分。如果我使用相同的URL转到相同的页面，没有“下一页”按钮，只有当您首先进入列表页面，然后单击页面链接时，它才起作用，从这里您现在可以进入其他链接。我原以为会成功

浏览 11提问于2020-09-03得票数 0

回答已采纳

3回答

如何在抓取网页时单击“下一步”按钮

python、web-scraping、scrapy、splash-screen

我正在用scrapy抓取一个有多页信息的网页，我需要程序点击下一步按钮，然后抓取下一页，然后继续这样做，直到所有的页面都被抓取。但我想不出该怎么做，我只能把第一页刮掉。from scrapy_splash import SplashRequest class MySpider(Spider):

浏览 18提问于2019-05-22得票数 1

回答已采纳

1回答

如何使用scrapy或selenium抓取动态页面？

javascript、python、html、parsing、screen-scraping

我正在尝试抓取web动态页面，但使用scrapy时，我不能检索所有信息，因为我想要的信息是动态的。我试着使用Selenium，但与Scrapy不同的是，你不能指定头部，网站阻止了我。(我不能说出这个网站的名字，因为抓取是非法的，但它是一个著名的旅游元搜索引擎...)。我有一个带有验证码解算器的页面(用脚本很难解决重新验证码)，因为网站会检测到我是机器人。我想拥有所有的动态信息，并有权访问网站，但不可能与selenium</e

浏览 23提问于2019-06-13得票数 0

1回答

抓取-当href =#时从多个页面中刮取数据

python、ajax、selenium、scrapy、webdriver

我正在尝试从多个页面中抓取数据。每页包含20个条目，然后单击next按钮转到下一页。</a>这是供参考的网页：第一次提

浏览 0提问于2017-05-20得票数 1

回答已采纳

点击加载更多

如何在python中使用selenium或scrapy点击“下一步”按钮

如何使用selenium python自动分页？(无需手动选择next按钮)