使用rvest和xpath抓取值

文章/答案/技术大牛

发布

1回答

r、web-scraping、rvest

正在尝试提取下一页http://www.thinkbabynames.com/popular/1/us上的所有名称我使用的是R中的rvest包。下面的代码允许我获取出现在“Top 10”和“Trend”部分的名称。read_html() %>% html_text() names <- get_names(url) 对于“Top 11-2000”中的名称，我使用了以下代

浏览 11提问于2019-06-04得票数 0

回答已采纳

1回答

使用rvest，如何选择没有属性的节点？XPath的相关thread，但当我尝试在rvest中使用类似于 wp %>% html_read(.) %>% html_nodes(xpath = "//node[not(@*)") 其中wp是所需的url，我错误地输出了： Warning message: In xpath_search(x$node, x$doc, xpath = xpath</

浏览 17提问于2019-06-27得票数 0

回答已采纳

1回答

使用rvest网刮时警告xml_find_all.xml_node

r、for-loop、web-scraping、rvest

我用了一个循环和一个循环来得到桌子。::html_nodes(xpath=paste0(xpath_part1, i, "]", xpath_part2)) %>% rvest::html_table(fi

浏览 6提问于2020-05-12得票数 2

回答已采纳

1回答

使用rvest提取两个标题标签(<h3>)之间的所有文本和标签

r、web-scraping、rvest

如何使用XPath分别选择这六个部分(使用rvest)，或者放入一个嵌套列表中？我的目标是稍后通过这六个部分进行lapply，以获取人员的姓名和从属关系(由部分分隔)。IN, USA<br /> Hideyuki Kawanashi – <i>Tsuchiya General Hospital</i>, Hiroshima, Japan<br /> 我使用以下代码访问该站点::html_no

浏览 5提问于2021-01-15得票数 0

回答已采纳

1回答

解析没有样式信息的XML？

我试图从web上做一个简单的XML解析，但我似乎遇到了一些障碍。如果我尝试做一个经典的XML解析：url <- c("http://www.boardgamegeek.com/xmlapi/boardgame/173346?stats=1")我得到：Error: 1: Unknown encoding "UTF-8" 尽管我似

浏览 1提问于2016-06-13得票数 1

回答已采纳

1回答

无法从rvest中的html_node提取href链接

html、r、web-scraping、xpath、rvest

当我使用rvest包xpath并尝试从站点获取嵌入的链接(足球队名称)时，我得到一个空的结果。有人能帮个忙吗？代码如下： xpath <- as.character('/

浏览 19提问于2021-03-11得票数 0

回答已采纳

1回答

在html页面上使用rvest和xpath时不返回任何内容

html、r、web-scraping、pipe、rvest

我使用xpath和rvest来抓取htm页面。rvest的其他示例可以很好地使用管道，但是对于这个特定的脚本，不会返回任何内容。read_html("https://www.sec.gov/litigation/admin/34-45135.htm") whomst <- webpage %>% html_nodes(xpathtable[2]/tbody/tr

浏览 35提问于2018-06-20得票数 0

1回答

如何阻止学术期刊页面的重定向

r、web-scraping、rvest

url <- "https://doi.org/10.1016/j.isci.2020.101838" html_nodes(xpathrvest::read_html和rcrossref::cr_abstract的组合，我能够从一半以上的文章中解析和提取摘要，但是，有些文章被重定向，导致这两种方法都失败。via%3Dihub" rvest:

浏览 5提问于2022-04-18得票数 -1

1回答

rvest::html_elements似乎并不尊重嵌套(即，限制只给出节点集的结果)

r、rvest

如果我对rvest::html_elements的初始调用结果使用rvest::html_elements，它会查找初始调用生成的节点集之外的结果。这是预期的行为吗？library(rvest) <h1>This is a heading</h1> <div><a nested paragraph</p

浏览 21提问于2021-09-03得票数 0

3回答

rvest如何按id选择特定的css节点

html、css、r、web-scraping、rvest

我正在尝试使用rvest包从网页中抓取数据。我尝试了下面的R代码：url<-"xxx"这将返回一个输入标记列表：<inputid="a" value="123"><input id="b"> 接下来，我尝试使用html_node通过id引用第一个输入

浏览 0提问于2015-08-21得票数 20

1回答

Rvest html_nodes span div和Xpath

r、xpath、rvest

我试图通过读取XPath代码来抓取网站。我想这样做，使用Rvest包与R。下面是两个不同的尝试，但没有工作… html_nodes(xpath= "js-bestRate-show") %>% html_nodes(xpath = "//div") %&

浏览 16提问于2018-02-06得票数 1

回答已采纳

2回答

rvest仅返回抓取表中的标题

r、web-scraping、rvest

以下代码仅返回使用rvest抓取的所需表中的标头。 draft_first_html <- html_nodes(draft,xpath= '&

浏览 0提问于2017-12-04得票数 0

1回答

无法在页面中使用rvest刮第二个表。

r、xpath、web-scraping、rvest

我能够使用rvest包并使用以下代码刮取这个的第一个表：library(magrittr) html_node(xpath = '//*[(@id = &

浏览 2提问于2017-04-18得票数 0

回答已采纳

1回答

是什么使桌面上的网页刮擦有时失败？

r、web-scraping、rvest

我正在使用包，并试图弄清楚为什么有时它不能刮掉那些看起来很像表的对象。例如，考虑这样的脚本：url <- "http://bigcharts.marketwatch.com/quickchart/options.asp?symb=SPY" xml2::read_html() %>% html_nodes(xpath='//*[@id="

浏览 0提问于2019-07-16得票数 1

回答已采纳

1回答

rvest：“class(out)中的错误”<- "XMLNodeSet“：尝试将属性设置为NULL”

r、web-scraping、rvest

我试着用新的rvest软件包刮一组网页。它适用于大多数网页，但当没有特定字母的表格条目时，将返回一个错误。packages you need, as appropriatelibrary(devtools)library(rvest) 此代码工作正常，因为网页上有字母E的条目。

浏览 5提问于2014-11-02得票数 0

回答已采纳

1回答

如何使用rvest和xpath抓取表？

r、xpath、web-scraping、rvest

使用下面的，我一直在尝试从marketwatch.com中抓取一系列表链接和xpath已经包含在代码中：valuation <- url %>% html_nodes(xpath='//*[

浏览 0提问于2016-03-01得票数 11

回答已采纳

1回答

R- Web页面抓取-使用rvest获取属性值时出错

r、rvest

我试图使用rvest从维基百科中提取ISO国家信息(包括来自另一个页面的链接)。如果不包含名称，我就找不到正确获取链接( href属性)的方法(我已经尝试过xpath字符串函数，它会导致错误)。这是相当容易运行-和不言自明。library(dplyr) n

浏览 0提问于2017-10-21得票数 0

回答已采纳

2回答

为什么我不能使用rvest解压这个表？

r、rvest

我正在尝试从中提取按地区和股东分类的销售信息。library(tidyverse) url <- "https://www.marketscreener.com/ZURICH-INSURANCE-GROUPwahis.session <- html_session(url)

浏览 0提问于2019-06-29得票数 0

1回答

HTML中的<div>似乎是空的(在r中使用rvest进行web抓取)

html、r、web-scraping、rvest

我正在尝试从一个博彩网站上刮取一些数据，使用r库rvest。odds_link <- "https://www.oddsportal.com/soccer/germany/bundesliga/results/"node_table <- html_node(xpath</em

浏览 8提问于2021-12-29得票数 1

1回答

{xml_nodeset (0)}尝试重现网络抓取示例时出现问题(不要认为这是JS问题)

html、r、web-scraping、rvest

我正在尝试使用rvest学习网络抓取，并尝试重现这里给出的示例： library("rvest")population <- url %>% html_nodes(xpath=&#x

浏览 7提问于2019-08-18得票数 1

回答已采纳

点击加载更多