如何通过使用rvest自动单击“Load More”来抓取所有数据

文章/答案/技术大牛

发布

0回答

r、rvest、purrr、rcrawler

我正在用rvest抓取一个网站，在网页上找到一些感兴趣的信息。PRODUCT_NAME2, REVIEW, USAGE) return (DF5)我用这个把结果放到一个数据框中更具挑战性的是，点击页面底部的'Load More‘后，网址不会改变，因此基本上没有第二个、第三个...page需要抓取。有没有人能给出一个解决这个问题的建议，这样我就可以通过运行我

浏览 2提问于2018-07-15得票数 0

1回答

R中的Websraping

我正在尝试通过网络将新闻数据收集到R中。我正在尝试搜索我下载的html，以便在每行/每行中找到关键字。因此，如果页面中的某一行以"“开头，我想要该行/行的编号，然后将该行和行隔开。library(rvest)grep("</div",googlenews) **Error in as.vector

浏览 0提问于2015-12-16得票数 0

1回答

网络抓取Yougov

javascript、html、web-scraping

我正在尝试使用软件包rvest和工具selectorgadget来擦拭yougov提供的最著名品牌的名称列表。该工具工作良好，但不幸的是，R只是刮前20个品牌名称，即使所有品牌都被选择小工具工具正确选择。我使用的R代码如下：library("rvest")yougov <- read_html

浏览 5提问于2022-10-25得票数 -1

回答已采纳

1回答

在R中抓取Javascript生成的内容

r、web-scraping、rvest

我发现，通过获取生成网页的html代码，可以轻松地使用rvest包实现R中的web抓取任务。然而，当网站使用Javascript显示相关数据时，这种“通常”的方法(我可以这样称呼它)似乎遗漏了一些功能。作为一个工作的例子，我想从网站上抓取新闻标题。通常方法的两个主要障碍是底部的“load more”按钮和使用xpath提取标题。特别是：library(magrittr

浏览 3提问于2016-01-05得票数 0

2回答

为什么使用selenium时只能获取首页数据？

python、selenium-webdriver、web-scraping

我使用python包selenium自动单击"load more“按钮，这是成功的。但是为什么在“加载更多”后无法获取数据？我想用python从imdb抓取评论。我使用python包selenium自动单击"load more“按钮，这是成功的。但是为什么我不能在“加载更多”之后获取数据，而只是重复获取前25条评论数据？&#

浏览 0提问于2019-04-05得票数 2

1回答

从404错误抓取URL中的数据-抓取

r、web-scraping、rvest

我试图从一个网页上抓取数据，但我得到了一个404错误的网址如下。但是，我需要从浏览器中获取404链接中的数据。示例如下：library(rvest) url <- "http://www.uscho.com/scoreboard/division-i-men/20172018知道如何在R中从浏览器获取URL吗？

浏览 3提问于2018-05-28得票数 0

1回答

是否可以单击激活div并显示用于抓取的新内容的选项卡？

r、screen-scraping、rvest

我刚开始租车，我正试图确定是否可以使用rvest来单击激活div的选项卡，这样就可以对数据进行抓取。我一直在阅读cran上的，没有读到任何关于单击链接、按钮或标签的内容。我感兴趣的网站是：接下来，我想选择一场即将到来的比赛。这应该使我重定向到选定的比赛的网址。例如：一旦进入竞赛页面，我想单击Pool选

浏览 7提问于2016-07-14得票数 9

回答已采纳

1回答

Rvest html_nodes span div和Xpath

r、xpath、rvest

我试图通过读取XPath代码来抓取网站。data-abc的所有值。假设站点上的每个元素都是一部电影，所以我想抓取页面上每部电影的所有数据-abc元素。 html_nodes(xpath = "//span") %>% html_nodes(xpath = "//

浏览 16提问于2018-02-06得票数 1

回答已采纳

1回答

如何使用rvest在R中抓取这个网站？

r、phantomjs、v8、rvest

我正在尝试使用RVest：https://www.camara.cl/legislacion/sesiones_sala/sesiones_sala.aspx抓取这个网站请注意，站点加载速度很快，但数据需要一段时间才能显示我意识到，虽然内容在web浏览器Inspector中显示为html文本，但使用rvest抓取时，节点显示为空。我尝试使用V8来解释javascript accord

浏览 7提问于2021-08-07得票数 1

回答已采纳

1回答

无法在VBA/IE中“单击”Span元素

excel、vba、dom

我正在尝试自动化以下网址的web抓取： <td colspan="12"><span onclick=&qu

浏览 2提问于2019-09-16得票数 1

回答已采纳

1回答

RSelenium；循环和下载csv文件

r、loops、web-scraping、rvest、rselenium

我正在尝试使用RSelenium (与docker一起)从这个网站提取数据：library(RSelenium)library(xml2clickElement() webElement$clickElement() 在此之前，我可以选择并单击下拉菜单我想通过

浏览 0提问于2019-10-17得票数 1

回答已采纳

2回答

抓取器刮不出页面。

r、web-scraping、rcrawler

我正在使用Rcrawler提取维基百科页面的信息框。我有一个音乐家的名单，我想提取他们的名字，道布，死亡日期，乐器，标签等。然后我想创建一个所有艺术家的数据作为行和数据存储为列/向量。当我单独使用rvest时，代码中使用的xpath是有效的。我的密码怎么了？

浏览 2提问于2018-07-31得票数 1

回答已采纳

1回答

需要使用node.js登录的网页抓取

javascript、node.js、authentication、web-scraping、login

问题陈述：我有这个网页中的每个候选人都有一个链接，其中包含一些信息，我想抓取。因此，对于所有候选人，我必须单击链接并手动获取详细信息，这是一项繁琐的任务。我想自动化这请帮助我。我的解决方案是：我认为要自动化这项任务，我应该编写一个脚本，它会单击每个链接并抓取数据。但我想知道如何抓取一个需要登录的网页。您看到的网页只能通过登录页面访问。如果除了这种方法之外，任何人有更好的解决方案来

浏览 18提问于2019-03-02得票数 0

回答已采纳

1回答

JQueryMobile加载更多选项

jquery、iphone、jquery-mobile、mobile

是否知道如何在JQueryMobile中实现load more选项。在我的应用程序中，我需要提取大量数据，并希望通过单击Listview最后一行上的"load more“数据选项来加载前20个数据，并使用户加载更多数据。

浏览 2提问于2011-02-15得票数 2

回答已采纳

2回答

如何使用ajax元素抓取网页

ajax、web、scrape

我想抓取一些网页，如下所示 http://www.youtube.com/channel_ajax?action_load_more_feed_items=1&activity_view=1&paging=1352148528&channel_id=UCCw8aVnsIeu9S6OPQyaQ14g 我想抓取整个页面手动，我必须反复点击按钮，直到没有更多的加载，<e

浏览 1提问于2013-01-10得票数 0

1回答

是否有一个R函数可以一次从Github存储库中读取多个CSV？

r、dataframe、github

我想要做的是从this回购页面中抓取所有CSV。我知道我需要获取它的原始版本，但是有很多文件，并且对于每个文件，我需要使用rbind绑定行，以便进行进一步的计算。有没有一次下载每一个的功能？附言:当然，我不想在本地下载每个文件，而是只想读取它，并在我的环境中只存储生成的数据帧

浏览 23提问于2020-10-17得票数 0

回答已采纳

2回答

用rvest网络抓取儿童基金会数据

r、web-scraping、rvest

我想要使用rvest或相似的r包自动从下载一些联合国儿童基金会的数据。我注意到有指示码，但我在识别正确的代码和实际下载数据时遇到了困难。您可以通过访问与指示符关联的页面并指定时间段来访问下载链接。例如，CME_TMY5T9是5到9岁死亡的代码。数据可以通过转到，然后单击下载链接获得。如果有人能帮我弄清楚如何得到所有的数据，那就太棒了。div.data-inner-wrapper&

浏览 7提问于2022-09-08得票数 1

回答已采纳

1回答

如何使用rvest从Lux到Lumens Calculator获取动态数据

r、web-scraping、web-crawler、rvest

Lux和Lumens有输入字段，而LED光束角度和从表面到光线的距离有滑动条来设置所需的值。如果有人可以帮助我，并解释(可能是一步一步)如何使用rvest获得勒克斯或流明值给定指定的LED光束角度和距离从表面到光的值，我将不胜感激。我使用rvest从网页中抓取静态数据，但在通过特定表单提交进行动态输入的网页上缺乏任何经验。我使用以下代码从网页中提取表单，但这似乎不是正确的尝试： library (rvest<

浏览 36提问于2021-03-01得票数 1

回答已采纳

1回答

如何在android的Recylerview中显示更多内容

android

我正在开发一个应用程序，其中有回收视图，其中我必须在底部显示更多的用户滚动加载更多的数据。请帮我解决这个问题。mProgressBar.setVisibility(View.GONE); m_showMore = (AppCompatButton) m_Main.findViewById(R.id.show_more

浏览 0提问于2016-03-16得票数 0

2回答

外壳和蜘蛛中的Scrapy处理ajax连续响应数据

python、ajax、youtube、scrapy、continuation

我正在尝试在ajax请求之后抓取加载的数据。例如，在html中可以看到youtube页面的前30个视频，然后用户必须单击一个"load more“按钮，该按钮触发ajax并获得更多的结果。我可以获得ajax链接，但是使用Scrapy特性提取剩余数据/“分页”的最佳方法是什么？yt-uix-load-more browse-items-load-more-button"

浏览 1提问于2015-10-24得票数 1

点击加载更多