如何抓取HTML按钮数据？

文章/答案/技术大牛

发布

2回答

python、html、web-scraping

我在这个项目中工作，我需要的信息是在网站上的按钮包括在内。我正在尝试使用python抓取97,800的数据。每次页面刷新时，此数字都会更改。我还没有尝试过任何东西，因为我是使用python的HTML的新手。我该怎么做呢？谢谢。忘记提到这一点了，但是数字每秒都在变化，我需要找到一种方法，让它从url中提取html，而不是提前硬编码html。

浏览 45提问于2021-08-10得票数 0

3回答

如何在php中以编程方式单击按钮

php

我正在做一个网络抓取的项目。从不同的在线商店获取数据，但由于只显示几个记录解析页面的限制，我不能在不单击底部的“显示更多”按钮的情况下批量获取数据，在大多数情况下，该按钮实际上是一个span标记，其中只包含html形式的文本，没有那么如何在我的php代码中单击该按钮呢？我使用简单的html dom解析器php库进行抓取。

浏览 1提问于2015-06-24得票数 1

1回答

R-如何使用rvest或rcurl点击网页

r、web-scraping、rcurl、rvest

我想从下载数据 html() %>>% html_table() 但是像这样的网页有一个问题。有一个+按钮可以显示所有国家的<e

浏览 0提问于2015-03-22得票数 20

回答已采纳

3回答

使用Python请求模拟单击“显示更多”按钮

python、web-scraping、python-requests

我不确定要使用什么代码来单击“显示更多”按钮。我想要一份正在做某一主题的大学名单。下面是其中一个网站谢谢

浏览 4提问于2018-01-09得票数 1

1回答

基于动态内容和隐藏数据表的Selenium Web抓取

python、selenium、dynamic、web-scraping、beautifulsoup

我正在使用Selenium和Beautiful Soup在Python中对动态内容进行web抓取。问题是，即使使用以下代码，也无法将定价数据表解析为Python：sel_soup=BeautifulSoup(html, 'html.parser') 然而，我后来发现，如果我在使用上面的代码之前单击WebPage上的“查看所有价格”

浏览 15提问于2018-02-14得票数 2

1回答

如何在点击更多按钮后抓取网站数据

python、selenium、web-scraping、beautifulsoup

我正在尝试使用BS4 + selenium学习web抓取。网站链接为 from selenium import webdriver driver.quit()

浏览 4提问于2017-06-20得票数 0

1回答

有没有办法在不使用R中RSelenium的情况下从“网站按钮点击”下载CSV文件？

html、r、web-scraping、data-import

链接是：出于某种原因，我可以阅读R中的页面的唯一方法是使用download.file(url1, destfile = "scrapedpage.html", quiet=TRUE) con

浏览 6提问于2021-05-11得票数 0

1回答

在Scrapy中处理旧记录？

python、web-scraping、scrapy

我正在从亚马逊的一个子网站中删除数据。如果我以前报废过某个产品，我希望能够检测到该产品何时不再可用。有没有办法处理像这样的过时数据？到目前为止，我能想到的唯一解决方案是完全清除数据并重新开始清除，但这将导致分配给这些项的元数据丢失。我唯一能想到的其他解决方案是对这两种报废进行特别比较。

浏览 0提问于2018-04-07得票数 0

2回答

Jquery为repsonse添加状态

jquery、jquery-ui、jquery-plugins、jquery-selectors

field and in the div say data added } 在上面的代码中，在从服务器onselect()获得响应之后，如何在状态div中仅为选中复选框说“已添加数据”

浏览 2提问于2010-08-16得票数 0

回答已采纳

1回答

如何使一个按钮调用server.js > mongdb中的find()函数并在html中显示它？

javascript、node.js、mongodb、express

res.render('index', { })})使用这段代码，我可以检索名为'vinicius‘的数据，并在html上显示它，如下所示：<%userList.forEach(users =>{%><p><%= user.firstName %></p><%})%>我的挑战是:我想在html上创建一个buton来调用这个查询--实

浏览 2提问于2022-09-29得票数 0

1回答

在Facebook抓取网站时执行Javascript

php、javascript、facebook、facebook-opengraph

我使用下面的javascript函数将嵌入的Facebook元数据移动到head，这对访问者很好，但不是FB爬行页面时，我如何在Facebook爬行页面时执行此操作？head.appendChild( metaTAGs[ i ].parentNode.removeChild( metaTAGs[ i ] ) );} 当facebook抓取页面时，我需要获取头部的元数据Facebook debug：

浏览 0提问于2012-07-21得票数 0

回答已采纳

1回答

Selenium不会抓取所有web数据

html、python-3.x、selenium、web-scraping

我正在尝试用selenium在python中抓取一个页面，以便从英超联赛中获得有关梦幻足球的数据。我已经取得了部分成功，因为我已经从第一页获得了数据，但是，我需要能够单击一个按钮来获得其余玩家的数据。为了找到这个按钮，我使用了selenium，但是我的代码找不到类名。我使用"driver“从页面中抓取数据，当我查看”page source“的详细信息时，它没有显示按钮，但我可以在网页的html中看到<em

浏览 20提问于2021-03-23得票数 0

回答已采纳

1回答

将数据从HTML文本输入传递到python脚本

javascript、jquery、python、ajax、django

我正在创建一个网络抓取应用程序，使用Django，它抓取imdb网站，并根据用户在文本字段中键入的内容列出电影名称假设如果用户键入'b'，它将列出所有以字母'b‘开头的电影名称我有一个html文本输入和一个按钮"> </form>我也有一个python脚本从网站

浏览 1提问于2018-01-11得票数 4

1回答

除非按下搜索按钮，否则url无法获取数据

python

我正在尝试用python进行网络抓取。除非按下搜索按钮，否则链接"https://www.etnet.com.hk/www/eng/stocks/realtime/quote.php?code=00883“不会获得任何数据。那么，如何为python webscraping解决这个问题呢？code=883“来网络抓取股票数据，但由于url不起作用而失败。除非我手动按下搜索按钮，否则不会显示详细

浏览 33提问于2019-10-01得票数 0

1回答

抓取url不变的分页表

web-scraping、beautifulsoup、python-requests、pagination

我正在尝试从下面的网页中抓取表格中的：它显示了前25个结果，但对于其余的结果，您需要单击next按钮来查看它们。我有一个python脚本，其中我使用请求和漂亮的汤来抓取表格，但只能从HTML中直接抓取前25个结果。我对此完全是新手，经过一些谷歌搜索，我仍然不能想出如何从所有页面中检索所有数据。

浏览 26提问于2021-05-25得票数 1

1回答

Android设计了一款应用程序，让我可以登录到wifi接入点

android、wifi

它的设置方式是，一旦你“连接”，你必须导航到一个网页(它是一个1.1.X.X的ip地址)，并点击“我同意”按钮，假设阅读了用户协议。问题是，他们把它设置为每小时注销一次，这总是发生在我锻炼的中途。也许这将不得不通过在内存中加载网页，然后以某种方式点击“我同意”按钮来完成。1)这里涉及的术语是什么？当我已连接，但尚未点击时，连接处于什么状态？还可以应用哪些其他连接状态？2)我知道有一些桌面浏览器的插件可以点击按钮(比如keepass插件，它会让你登录到一个网站)。我怎么才能在Android中复制它呢？理想情况下，我希望在内

浏览 0提问于2012-10-24得票数 0

1回答

Selenium Python:弹出窗口中的“关闭”按钮不可交互

python、selenium、xpath、css-selectors、webdriverwait

我似乎不能点击“关闭”按钮来关闭我之前打开的弹出窗口，以便抓取它显示的数据。该按钮具有以下html脚本：我尝试了以下几种方法driver.find_element_by_xpath("//div[@class='

浏览 3提问于2021-01-09得票数 0

1回答

在抓取需要登录的网站时，我需要哪些信息？

python、web-scraping

我想在某个网站上访问我的业务数据库，并使用Python进行抓取(我使用的是Requests和BS4，如果需要，我可以做得更多)。但我不能。谁能提供我们的信息和简单的资源，如何抓取这样的网站。除了UN和PW之外，我如何知道我需要为脚本提供的信息(例如，我如何知道我必须提供身份验证令牌)？当站点中没有HTTP，但却有javascript:__doPostBack形式的hrefs时，该如何处理？在这方面，我如何从登录页面转换到我想要的页面(包含在前面提到的j

浏览 4提问于2018-08-02得票数 0

1回答

如何在UiPath中进行数据抓取时展开切换/超链接？

automation、uipath

这里我拿一个网站作为参考，这里有202条记录与这个URL一起找到，在第二个搜索结果中有一个切换/链接写成“1多一个位置”，我想丢弃由URL包含的数据。如有任何帮助，我们将非常感谢…

浏览 10提问于2017-08-24得票数 0

2回答

使用HTTPClient“导航”网站的C#

c#、httpclient

这就像点击按钮，将文本放入字段，等等。如果有人能给我一个从哪里开始的想法，我将不胜感激！不是专门寻找代码，只是寻找我应该在HTTPClient中学到的东西来实现这一点。谢谢!

浏览 0提问于2020-05-05得票数 2

点击加载更多