是否可以使用rvest来抓取类本身？

文章/答案/技术大牛

发布

1回答

r、web-scraping、rvest

我想从网站的HTML代码中抓取类本身。<div class="rating-static-indv rating-50 margin-top-none td"></div>x<- rbind(x, states) 但是，这只会返回"table width-100 pad-left-none pad-

浏览 13提问于2019-02-02得票数 1

回答已采纳

1回答

尝试使用rvest和V8抓取呈现javascript的网页时出现c++异常

r、web-scraping、v8、rvest

我想要抓取一个javascript渲染的网页，这样rvest本身就不能完成我想要的工作。我熟悉RSelenium，但我不想使用它来完成这项任务，因为我想抓取多个页面，而且这需要时间。我不熟悉V8，但我使用页面作为指南来编写这段代码。library(rvest) link <- "https://www.pff.com/nfl/players

浏览 0提问于2021-03-12得票数 0

1回答

R-如何使用rvest或rcurl点击网页

r、web-scraping、rcurl、rvest

我想从下载数据library(rvest)url <- "http://www.tradingeconomics.com/"所以如果我使用这个代码，我只能抓取50个国家的数据。+按钮是用j

浏览 0提问于2015-03-22得票数 20

回答已采纳

1回答

利用rvest从Facebook上抓取图像src

r、facebook、facebook-graph-api、rvest

我使用rvest包来抓取Facebook的帖子并提取img src url。library(rvest)UrlPage %>% html_node("#fbPhotoImage") 错误:

浏览 4提问于2016-01-08得票数 0

1回答

rvest从网页抓取链接

r、rvest

我正在使用rvest从杂志“骗局”中抓取一些链接。我用过这段代码 library(rvest) html_nodes(".我使用SelectorGadget查找类，所以不确定这里出了什么问题。

浏览 13提问于2021-04-29得票数 0

回答已采纳

1回答

通过知道R中的CSS类来抓取嵌入式交互式地图的详细信息

css、r、web-scraping、rvest

我打算在这个中从地图中抓取数据首先我抓取了地图中所有标记的所有经度，但我无法捕捉到标记的其他信息。在对此网页的检查中，我发现所需数据的类是"infodetail“，如下图所示：因此，我使用rvest提取数据，如下所示： webhtml <- read_html(webpage) webnod如何找到html_nodes的确切类或参数？这个类是否从所有标记中提取信息？

浏览 1提问于2018-05-22得票数 0

1回答

从网页中获取内部信息的r中使用的web抓取

我在将rvest/XML包加载到R时遇到了困难，并且无法处理代码。forbs <- readHTMLTable("https://www.forbes.com/powerful-brands/list/")View(forbs)forbs1 1<-html_text

浏览 2提问于2019-04-05得票数 1

1回答

网络-在课堂上在某个单词之后刮起。

html、css、r、web-scraping

我试图用以下变量将网页上的信息抓取到数据框架中：“名称”很容易被刮掉，因为它有一个特殊的类“结果标题详情(“州”、“区”等)因为它们都有相同的类“结果项”，所以比较难刮。html源的结构合理，可用于web抓取。使用我在这个中找到的代码的修改版本，我试图让R准确地抓取细节(只记录某个单词之后的单词)，但它不起作用。可能是因为我在gsub()函数中没有正确的运算符。("&#x

浏览 3提问于2022-01-30得票数 0

回答已采纳

1回答

如何找到HTML页面中使用的所有类？

html、r、css-selectors、wildcard、rvest

我想在下面的网页中找到所有使用的类。这是可能的，或我是否需要一些regex/grepl？一旦我知道了类的名称，我就可以抓取这个信息，但是对于具有动态构建的类名的页面，对使用的类es进行概述是很方便的。library(rvest) doc_url<-"http://curia.europa.eu/juris/document/document

浏览 1提问于2015-12-31得票数 14

回答已采纳

1回答

我正在使用rvest抓取博客页面的.txt文件，我有一个脚本，它每天都会触发，抓取最新的帖子。该脚本的基础是一个lapply函数，该函数只需抓取所有帖子，稍后我将使用Apache NiFi整理重复的帖子。这不是一种有效的排序重复的方法，所以我想知道是否有一种方法可以使用相同的脚本，并且只抓取最新的帖子？这些帖子是用数字标记的，例如BLOG001，BLOG002等。我想放一行代码来确保抓取<

浏览 27提问于2019-02-12得票数 1

回答已采纳

1回答

在R中使用`read_html`时缺少元素

html、r、web-scraping、rvest

我正在尝试使用rvest包中的read_html函数，但遇到了一个我正在努力解决的问题。例如，如果我试图读取出现在页面上的底部表格，我将使用以下代码：html_content <- read_html("https://projects.fivethirtyeight.com/2016-election-forecast/washington/#now") 通过检查浏览器中的HTML代码，我可以看到

浏览 17提问于2016-08-31得票数 3

回答已采纳

1回答

R中的Websraping

library(rvest)grep("</div",googlenews) **Error in as.vector

浏览 0提问于2015-12-16得票数 0

1回答

从R中的网站中提取数据，并将其作为R表播放

r、shiny、shinydashboard

我正试图建立一个财务仪表板在闪闪发光，并被困在第一步。我想写一篇下表的文章并在我闪亮的环境中把它展示成一张桌子。类似于下面的内容，但是表格应该显示任何一个链接的内容，而不是随机的正态分布。 sliderInput(inputId = "num", value = 25, min = 1, max = 100),) server <

浏览 4提问于2021-12-15得票数 -1

回答已采纳

1回答

在R中抓取Javascript生成的内容

r、web-scraping、rvest

我发现，通过获取生成网页的html代码，可以轻松地使用rvest包实现R中的web抓取任务。然而，当网站使用Javascript显示相关数据时，这种“通常”的方法(我可以这样称呼它)似乎遗漏了一些功能。作为一个工作的例子，我想从网站上抓取新闻标题。通常方法的两个主要障碍是底部的“load more”按钮和使用xpath提取标题。也就是说，在这种情况下，是否可以使用基于rvest的常

浏览 3提问于2016-01-05得票数 0

1回答

当试图收集产品价格信息时，rvest* web scraping返回一个空的数据帧。*

html、r、xml、web-scraping、rvest

我正在尝试使用'rvest‘从：中提取产品价格。我使用以下代码：library(tidyverse) url <- "https://www.lowes.com/pl/Lawn-garden-hand-tools-Outdoor-tools-equipment-Outdoors

浏览 7提问于2020-06-18得票数 2

回答已采纳

1回答

如何从值中过滤特定的单词

r、web-scraping

我想过滤掉x中包含单词“印度”的值。 webpage <- getURL("https://www.sec.gov/Archives/edgar/data/789019/000156459019027952/msft-10k_20190630.htm")pagetree <- htmlTreeParse(webpage, error=function(...){}, useInternalNodes = TRUE) # par

浏览 18提问于2019-09-22得票数 1

回答已采纳

1回答

Rvest和SelectorGadget导致空表

r、rvest

我正在尝试使用rvest和SelectorGadget从下载几个表。当我运行下面的代码时，不幸的是，结果是一个空表。library(rvest) psh.node <

浏览 7提问于2022-10-29得票数 0

1回答

网络抓取，选择器小工具和rvest的麻烦

r、web-scraping、rvest

我对网络抓取相当陌生，目前正在努力浏览下一页的表格：我使用选择器小工具来识别特定的CSS选择器。后来我试了一下：library(dplyr) Stat

浏览 4提问于2021-07-18得票数 0

回答已采纳

1回答

在R中抓取BigFuture时出现问题

r、web-scraping、rvest

我正在尝试使用rvest抓取以获得到学院的链接(CSS选择器显示为rvest和国际学生部分的一些文本(可以通过侧边栏访问)。无论我怎么尝试，html_nodes()都无法将此信息读入R。我尝试使用chrome中的开发人员工具选项来获取信息，但即使这样也不起作用。我遗漏了什么？

浏览 2提问于2018-04-06得票数 0

1回答

可以从网站的robots.txt文件中爬行/提取一行吗？

r、rvest

我有一个网站，我想抓取在根文件夹中存在的机器人文件。在这里，我想抓取一个特定的行，例如，第3行，并提取该值，以检查它是否包含不允许的内容。在RVest中可以这样做吗？

浏览 3提问于2021-06-16得票数 0

回答已采纳

点击加载更多