如何使用selenium python自动分页？(无需手动选择next按钮)

文章/答案/技术大牛

发布

1回答

python-3.x、selenium-webdriver、web-scraping、scrapy、python-requests

我正在抓取图像的网站列表，使用selenium webdriver+scrapy，但每个网站的下一步按钮都有不同的类/div名称，如何自动查找不同网站中的下一页进行抓取？

浏览 11提问于2020-06-20得票数 0

1回答

Python 3 urllib.request发送cookie，获取结果

python、python-3.x、cookies、urllib

我试图用以下代码在Python3中获得这第二个页面：import urllib.requestcookie = 'sportstats_preferences

浏览 0提问于2015-03-05得票数 3

1回答

使用Selenium和Node.js的递归Facebook页面网络爬行器

javascript、node.js、selenium、recursion、selenium-webdriver

我尝试做的是循环遍历Facebook页面is数组，并返回每个事件页面的代码。不幸的是，我只得到了数组中最后一个页面ID的代码，但与数组中元素的次数一样多。例如，当我在数组中有3个ID时，我得到的代码是最后一个页面ID的3倍。预期的结果将是每个页面的代码。感谢您的帮助和示例。//Looping through pages function(page) { let url = "https://mbasic.facebook.com/"+page

浏览 0提问于2019-06-08得票数 0

1回答

使用selenium-python的完整页面源代码(在JS渲染之前)？

python、selenium

我从一个网站抓取数据与分页表(最大结果500，每页25个结果)。当我使用chrome“查看源代码”时，我可以看到全部500个结果，但是，一旦JS在selenium中呈现，使用driver.page_source时只会显示25个结果。我尝试过将cookie和头文件传递给requests，但这并不可靠，需要坚持使用selenium。我还创建了一个简单的解决方案，即单击分页器的next按钮，但肯定有更好的方法！那么，如何在

浏览 0提问于2018-11-26得票数 0

4回答

使用Selenium RC实现Flash自动化

flash、selenium、selenium-rc

我正在努力使用Selenium RC自动化Flash。谁可以请给我一个样本Flash应用程序代码(方法)和Selenium RC代码，以自动化相同。

浏览 0提问于2010-09-07得票数 8

1回答

爬虫:转到下一页，最好的做法是

python、beautifulsoup、web-crawler、urllib

我使用urllib、url解析和beautifulSoup。import urllibfrom bs4 import BeautifulSoup def getURL():

浏览 0提问于2014-11-17得票数 0

回答已采纳

2回答

验证错误甚至是由Selenium选择的下拉值

javascript、java、python、selenium、ui-automation

我是自动化的网站测试使用selenium，我有一个场景，我需要填写下拉强制。我正在使用下面的代码填充下拉值，该代码运行良好：select.select_by_value("5") 现在的问题是，当我在使用自动脚本选择下拉值(5)后单击Next按钮时，它会引发验证错误，上面写着：“请从下拉列表中选择

浏览 1提问于2018-07-11得票数 0

2回答

Python -如何在URL中不分页地刮分页

python-3.x、web-scraping

如何使用URL访问下一页，内容如下：我知道如何使用刮取库(BS4、Selenium)，但我不知道如何抓取这样的站点。我一直在玩谷歌Chrome开发工具，但没有成功。像Python这样的抓取站点通常的工作流程是什么？

浏览 0提问于2019-07-05得票数 0

回答已采纳

1回答

如何从多个页面的搜索结果中抓取数据？

xpath、web-scraping

我对使用Xpath和google sheets函数IMPORTXML( URL；Xpath)从包含多个页面的搜索结果的URL进行web抓取有疑问:我希望从其中提取数据(特别是每个结果的链接)的页面是：为了澄清我的解释，我通过链接附上了几张图片： //td[@class='msDataText gridFundName Shrink']/a/@href在页面底部，您可以选择要显示的结果数量，但选择要显示的不同数量的结果或

浏览 26提问于2018-10-08得票数 1

回答已采纳

1回答

下一步，Button处于禁用状态，甚至selenium选择了强制下拉菜单。

selenium-webdriver、dropdown

我正在使用selenium对应用程序进行自动化，我有一个场景，需要强制填充下拉列表。我正在使用下面的代码填充下拉值，该代码运行良好： for(intallOptions.get(i).click(); } 现在的问题是，当我检查Next按钮时，它是禁用的。但是

浏览 3提问于2022-01-05得票数 0

2回答

基于云的测试自动化工具

selenium、testing、automated-tests、regression-testing

我试图找到一种服务，该服务提供了一种功能，允许我使用可视化构造函数以简单的方式为基于web的应用程序创建手动测试自动生成，而无需编写任何代码，因此它可以是重点是在不使用自动化脚本的情况下再现手动测试人员的工作，并以简单的方式完成，以便初学者

浏览 6提问于2015-08-17得票数 0

回答已采纳

3回答

如何在VBA中自动填充列

excel、vba

如何自动向下填充列，例如，单元格(A1).value= dog和单元格(A12).value= Pen filledcells.filldown Next

浏览 4提问于2021-12-17得票数 1

1回答

测试(手动)商务结帐过程的快速方法

7、commerce

选择付款方式，确认。我的浏览器做了一个半好的工作，用地址预填表格。只有一个字段(城市)一直空着。有什么方法可以自动完成这些任务吗？编辑:自动化与手动测试“自动测试”：我有一台机器，可以根据成文的食谱烤蛋糕。和另一台机

浏览 0提问于2017-11-13得票数 1

回答已采纳

1回答

Ali用selenium和python表示自动化

python、selenium、automation、aliexpress

我在支付宝自动化与selenium和python工作，现在被困在这里，问题是我没有找到任何选择器的订单数量按钮，以增加数量根据用户的选择，如下面的图像圈。给出了到该页面的链接：_ to代码： quantity=driver.find_element_by_class_name("next-btn next-medium next-btn-normal")

浏览 4提问于2021-06-02得票数 0

回答已采纳

3回答

Selenium以编程方式单击next按钮，直到最后一页。

python、selenium、web-scraping

嗨，我刚开始使用web抓取，一直在尝试用Selenium在python中刮。当我通过部分链接找到next按钮时，自动单击将继续到下一个线程，例如页面1->页面2->下一个线程的页面1->下一个线程的页面2。, "Next"))) next_

浏览 4提问于2018-05-25得票数 1

回答已采纳

2回答

Selenium WebDriver不使用CSS选择器和数据属性查找元素

python、python-3.x、selenium、selenium-webdriver

我试图更改脚本，以便它只使用类(.标签-危险)，但是遗憾的是，仍然什么也没有。下面是我正在尝试的代码。build_data_attribute(element_data_attribute)} .label-danger"))这是使用CSS选择器获取元素的无效方法吗？请记住，我不想使用xPath，因为我喜欢保持代码整洁，这就是我使用数据测试属性的原因。

浏览 1提问于2020-04-27得票数 0

回答已采纳

2回答

如何在使用Webdriver gem的同时向Capybara注册IEDriver和边缘驱动程序？

ruby、selenium-webdriver、capybara

ruby webdriver gem允许自动下载驱动程序，而无需在更新浏览器时手动下载。我知道最新的Capybara支持开箱即用的驱动程序，比如:selenium，:selenium_chrome，:selenium_chrome_headless等等。Webdrivers gem支持这些，但我不确定如何让它与Capybara一起工作，以便驱动程序自动下载并运行。如果没有我可以使用的关键字/默认驱动程序名称，我如何<

浏览 12提问于2019-09-17得票数 0

回答已采纳

1回答

带有自动存储的Extjs网格在第一次加载时没有反映分页工具栏

extjs、grid、paging、autoload

我正在使用ExtJS5.0.1，我刚刚遇到了一个与网格相关的问题。任何帮助都将不胜感激。 limit: 6 pageSize: 6 store = grid.getSt

浏览 3提问于2014-11-26得票数 0

2回答

Selenium找到一个没有class，div，text (Python)的元素

python、html、css、selenium-webdriver

我想使用selenium自动进行google登录，但是我找不到这些元素，即button "Next"，因为每次我们用selenium启动浏览器时，或者当我们重置登录页面并且没有Id时，类都会被修改，但是这个按钮位于一个div中，只包含这个按钮，我希望有人能帮我找到一个解决方案，找到如何使用这个按钮，以便单击它跳过必须将电子邮件地址跳过密码的页面。我想使用css选择</em

浏览 19提问于2022-09-01得票数 0

2回答

按钮会被禁用，并且不会被单击。

selenium、selenium-ide

我正在使用Selenium来创建一个自动化脚本。在我的代码中有一个页面，当我选择一些选项时，“Next”按钮会被禁用一段时间。当按钮被禁用时，我使用了一个“暂停”语句，但是当我在Selenium IDE中重新运行我的脚本时，“Next”按钮大部分时间都不会被点击。有谁能解决这种问题吗？

浏览 0提问于2014-09-17得票数 0

点击加载更多