我正在抓取一个网页，其中有一个表与子tr和td标签。我能够正确地刮掉第一页。但是要转到下一页，我需要一个按钮点击。我需要一些帮助来理解这一点。我正在使用Selenium and Beautiful soup来获得页面响应。for scraping 1 page
btn.click(
浏览 28提问于2019-10-01得票数 0
我使用Scrapy用python编写了一个脚本，以便使用身份验证从网站上抓取数据。我正在抓取的页面真的很痛苦，因为主要是由javascript和AJAX请求组成的。页面的所有主体都放在允许使用submit按钮更改页面的<form>中。URL不会改变(而且是一个.aspx)。我已经成功地从第一页抓取了所需的所有数据，然后使用以下代码更改
浏览 38提问于2019-02-21得票数 0
我正在尝试从以下网站上收集秘鲁国会提出的几项法案的数据：
基本上，我想单击搜索结果中的每个链接，抓取账单的相关信息，返回搜索结果，然后单击下一个账单的下一个链接，重复此过程。我已经能够使用Selenium启动一个显示搜索结果的web浏览器，使用嵌入在iframe中的xpath点击第一个链接，然后用漂亮的汤抓取内容，然后导航回搜索结果。我遇到的问题是无法单击搜索结果
浏览 9提问于2019-08-06得票数 0
下面是示例页面：
*
我知道如何使用刮取库(BS4、Selenium)，但我不知道如何抓取这样的站点。像Python这样的抓取站点通常的工作流程是什么？
浏览 0提问于2019-07-05得票数 0
回答已采纳
其意图是使用Selenium打开网站(craigslist)，搜索一个文本(Honda)，然后抓取该网站的三个页面。我不断地收到 "StaleElementReferenceException:陈旧元素引用:元素未附加到页面文档“异常 当迭代到达第二个页面时。我不能确切地说出为什么它停在第二页，而不是再次单击“下一步”按钮到达第三页，然后最后抓取
浏览 14提问于2021-03-28得票数 0
我正在尝试使用Python获取网页抓取的html代码。我选择了房地产经纪公司的网站。在这个问题上，您能给点建议吗？以下是我的代码from bs4 import <
浏览 7提问于2018-09-05得票数 0
在一个网站上，我使用Python的漂亮汤，在第一页的每一个位置刮去街道地址、城市、州和邮政编码。但是，我如何刮除它之后出现的42页(1) url不包括页码，(2)检查-> Network -> XHR在这种情况下似乎也不起作用。
非常感谢!
浏览 4提问于2020-08-08得票数 3
回答已采纳
这是我第一次尝试在selenium和bs4中使用python。我正在尝试从这个website中抓取数据 首先，我从cantone下拉菜单中选择GE，单击复选框"Conffermo“和按钮"Ricerca”。然后我就可以看到数据了。我必须单击每个箭头来展开数据，并从每个人那里抓取数据(这是一个循环，不是吗)。然后在下一页上执行相同的操作(
浏览 22提问于2019-01-18得票数 0
o=218776"，我选择页面的第一个链接并使用selenium打开它，一旦在这里我获得了我需要的数据并单击”下一页“按钮，但这里是棘手的部分。如果我使用相同的URL转到相同的页面，没有“下一页”按钮，只有当您首先进入列表页面，然后单击页面链接时，它才起作用，从这里您现在可以进入其他
浏览 11提问于2020-09-03得票数 0
回答已采纳
我正在尝试编写一个Python程序，如果该按钮是可点击的，则使用Selenium单击一个按钮转到下一页。这是因为我是从不同数量的网页上抓取网页。我尝试使用一个while循环来检查href属性，但是代码没有单击按钮，也没有返回错误。如果我只编写button.click()，但不需要对href属性进行while循环或条件检查，那么程序就会正确地单击<
浏览 5提问于2020-12-27得票数 0
回答已采纳
1回答
我正在尝试从多个页面中抓取数据。每页包含20个条目，然后单击next按钮转到下一页。</a>
这个页面是唯一的，因为它不使用XHR请求，就像我找到的许多其他例子一样。其他一些答案建议通过Chrome/Firefox开发工具监控GET请求，然后复制它们。我希望使用scrapy传输到下一页(如果可能的话最好不使
浏览 0提问于2017-05-20得票数 1
回答已采纳
1回答
我想刮多个页面，但是当我移动到其他页面时，URL保持不变，我刮多个页面，如果有任何解决方案，请提供页面链接为from scrapy.http import Request
浏览 13提问于2022-06-18得票数 2
我试图从一个网站上抓取数据，这个网站返回了跨越多个页面的搜索条件的结果……使用硒，Python上的精美汤。第一页很容易阅读。移动到下一页需要点击'>‘按钮。lat=dfdfd ")soup = BeautifulSoup(page, 'html.parser')#now need to click
浏览 24提问于2019-05-25得票数 1
回答已采纳
from selenium import webdriverfrom bs4 import BeautifulSoupctl=10_s2015")
我正在尝试获取每个"td“、"Class":"Match Centre”的HREF，我需要<
浏览 6提问于2016-05-03得票数 1
回答已采纳
我正在尝试从抓取数据:第一个登录页面可以通过转到上面的url并单击橙色按钮"Cari sekolah“来访问。
结果页面具有以下url：。不幸的是，当启动url时，结果是一个页面声明无法找到指定的url。
感谢您的帮助，我的代码到目前为止还没有走得太
浏览 1提问于2020-04-02得票数 1
4回答
我试图刮一个网站，有链接到亚马逊与Python使用这些框架-硒，美丽的汤。我应该使用scrapy来完成这项任务，还是scrapy对于这个简单的刮刀来说太过压倒性？这是针对第一个产品的，稍后我将对此进行迭代 from bs4 import BeautifulSoupimport time
first_ar
浏览 50提问于2018-06-08得票数 0
回答已采纳
我正在抓取图像的网站列表，使用selenium webdriver+scrapy，但每个网站的下一步按钮都有不同的类/div名称，如何自动查找不同网站中的下一页进行抓取？
浏览 11提问于2020-06-20得票数 0
当你转到下一个(按钮)页面时，当url保持不变时，你如何计算出下一个url应该是什么呢？是不是跟aspx有关？import requests as re
url = ("http://www.voltagepictures.com/titles.aspx
浏览 0提问于2021-02-14得票数 1
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
