Rvest在网站中看不到xpath
Rvest是一个在R语言中用于网页数据抓取的包。它提供了一组简单而强大的函数，可以从网页中提取数据，并支持使用XPath表达式来定位和选择网页元素。
XPath是一种用于在XML和HTML文档中定位和选择节点的语言。它使用路径表达式来描述节点的位置关系，从而实现对文档结构的导航和查询。在网页数据抓取中，XPath常用于定位和提取特定的HTML元素。
然而，使用Rvest进行网页数据抓取时，有时可能无法直接在网页中看到XPath。这可能是因为网页的内容是动态生成的，或者网页的结构发生了变化。在这种情况下，可以尝试以下方法来解决问题：
- 查看网页源代码：使用浏览器的开发者工具或右键点击网页并选择"查看页面源代码"，可以查看网页的原始HTML代码。在源代码中搜索关键词或特定的HTML标签，可以找到需要的数据所在的位置。
- 使用CSS选择器：Rvest也支持使用CSS选择器来定位和选择网页元素。CSS选择器是一种简洁而强大的选择器语法，可以通过标签名、类名、ID等属性来选择元素。可以尝试使用Rvest的
html_nodes()函数结合CSS选择器来提取数据。 - 分析网页结构：仔细分析网页的结构和布局，了解网页中各个元素的层次关系和属性。根据网页的结构，可以使用Rvest的函数来逐级定位和选择元素，直到找到需要的数据。
总之，虽然在网页中看不到XPath，但可以通过查看网页源代码、使用CSS选择器和分析网页结构等方法来定位和提取数据。Rvest提供了丰富的函数和方法来处理网页数据抓取，可以根据具体情况选择合适的方法来解决问题。
腾讯云相关产品和产品介绍链接地址：
- 腾讯云官网：https://cloud.tencent.com/
- 云服务器（CVM）：https://cloud.tencent.com/product/cvm
- 云原生应用引擎（TKE）：https://cloud.tencent.com/product/tke
- 云数据库 MySQL 版（CDB）：https://cloud.tencent.com/product/cdb_mysql
- 云存储（COS）：https://cloud.tencent.com/product/cos
- 人工智能（AI）：https://cloud.tencent.com/product/ai
- 物联网（IoT）：https://cloud.tencent.com/product/iotexplorer
- 移动开发（移动推送、移动分析）：https://cloud.tencent.com/product/mobile
- 区块链（BCS）：https://cloud.tencent.com/product/bcs
- 元宇宙（Tencent Meeting）：https://meeting.tencent.com/
相关·内容
我想刮大量的网站。为此，我首先在网站的html脚本中阅读，并将它们存储为xml_nodesets。由于我只需要网站的内容，我最后提取每个网站的内容从xml_nodesets。为此，我编写了以下代码：
# required packages
library(purrr)
library(dplyr)
library(xml2)
library(rvest)
# urls of the example sources
test_files <- c("https://en.wikipedia.org/wiki/Web_scraping", "https://
浏览 4提问于2021-05-06得票数 4
回答已采纳
我正在使用RSelenium进行网页抓取。现在，我从一个动态生成的web页面中获得了某个XML节点的xpath。子节点属于同一类型。但是，我没有关于子节点数量的先验知识。(例如，当您在购物网站上搜索稀有商品时，您可能会遇到这种情况。)
一般情况下，如何获取以下信息？
1)节点的子节点数。2)上面的xpath。我的目标是在每个子节点中应用操作(例如，填充、检查或单击，这取决于节点的类型)。
我在chrome中看到一些使用xpath helper的xpath。那我就完全卡住了。
优选地，使用RSelenium例示。httr + rvest也是可以接受的。
浏览 16提问于2016-08-05得票数 0
回答已采纳
1回答
一个很简单的问题，我很惊讶地找不到任何答案:你怎么才能同意网站上的cookie。 我运行的代码如下： require(rvest)
finances <- "https://finance.yahoo.com/quote/MSFT/financials?p=MSFT&_guc_consent_skip=1608408673"
finances <- read_html(finances)
finances <- html_table(finances,header = TRUE) 这给出了一个空的data.frame，我怀疑这是因为网站要求同意跟踪c
浏览 27提问于2020-12-20得票数 1
2回答
我在试着抓取网站 https://www.basketball-reference.com/playoffs/NBA_2021_standings.html 用于扩展的排行榜。我已经使用rvest库尝试了许多变体，但似乎都不能正常工作。使用的最新代码是： url = "https://www.basketball-reference.com/playoffs/NBA_2021_standings.html"
test = url %>%
rvest::read_html() %>%
rvest::html_nodes("table")
浏览 40提问于2021-11-14得票数 0
1回答
我正在尝试从这个网站的SumoMe插件( )下载份额计数。
我尝试使用基于rvest包的R代码
> library(rvest)
Loading required package: xml2
> url <- 'http://www.r-bloggers.com/erum-2016-first-european-conference-for-the-programming-language-r/'
> read_html(url) %>%
+ html_nodes('.wpusb-counts span')
{xml_node
浏览 5提问于2016-07-08得票数 1
回答已采纳
1回答
我正在努力从一个RSelenium的网站提取数据，如果有任何提示，我将不胜感激。
该网站的地址是"https://www.airbank.cz/mapa-pobocek-a-bankomatu/brno-netroufalky-c-p-770/"。我要提取的数据/链接是：
<a class="flex items-center" href="https://www.google.com/maps/dir//50.659742,+14.039068/@50.659742,14.039068,16z/">
下面是我的代码：
library
浏览 16提问于2022-07-21得票数 1
回答已采纳
1回答
我正在尝试使用R中的rvest包，我已经成功地使用了其他几个网站，但这个网站似乎不起作用，我不确定为什么。
我从chrome的检查器工具中复制了xpath，但是当我在rvest脚本中指定它时，它显示它不存在。这与表是生成的而不是静态的这一事实有关吗？
感谢您的帮助！
library(rvest)
library (tidyverse)
library(stringr)
library(readr)
a<-read_html("http://www.diversitydatakids.org/data/profile/217/benton-county#ind=10,12,15,
浏览 15提问于2017-06-15得票数 1
1回答
租回空列表
、、、
我试图通过复制html代码的xpath并使用rvest包从网站中导入一个表。我以前多次成功地做过这件事，但是当我现在尝试的时候，我只是做了一个空的列表。为了诊断我的问题，我运行了以下代码(取自)。但是，这段代码也为我生成了一个空列表。
提前感谢您的帮助！
library(rvest)
url <- "http://en.wikipedia.org/wiki/List_of_U.S._states_and_territories_by_population"
population <- url %>%
read_html() %>%
html_no
浏览 0提问于2018-07-03得票数 1
回答已采纳
2回答
抓取R中的tbody类对象
、、、、
我对使用R进行web抓取是完全陌生的，我想抓取下表(图片)，它的行为就像tbody一样。如果我运行以下代码，我只看到标题，没有数据(捷克语网站)。
我应该得到在CZK下订单的时间，价格，数量和数量。
library(rvest)
library(dplyr)
PSE_Page <- "https://www.pse.cz/detail/CZ0003519753?tab=detail-trading-data"
Page <- read_html(PSE_Page)
Our_table <- Page %>%
rvest::html_nodes
浏览 0提问于2020-03-13得票数 0
1回答
我正在尝试使用Rvest从FoxNews上抓取新闻文章。但是，我找不到正确的Node来获取抓取的头和URL。会不会是FoxNews阻止了我抓取他们的网站？ html_fox <- read_html("https://www.foxnews.com/search-results/search?q=trump")
html_fox %>%
html_nodes(".article") %>%
html_text() 如果我输入这个，返回的结果是{xml_nodeset (0)} 有人能帮上忙吗？我已经试着解决这个问题好几天了，但
浏览 12提问于2020-11-05得票数 0
1回答
我想从网站上刮下比赛结果表
我正在使用带有以下代码的rvest包：
library(rvest)
url.tournament <- "https://www.whoscored.com/Regions/247/Tournaments/36/Seasons/5967/Stages/15737/Fixtures/International-FIFA-World-Cup-2018"
df.tournament <- read_html(url.tournament) %>%
html_nodes(xpath='//*[
浏览 0提问于2018-06-25得票数 0
4回答
我试图简单地复制rvest::html_nodes()的例子，但是遇到了一个错误：
library(rvest)
ateam <- read_html("http://www.boxofficemojo.com/movies/?id=ateam.htm")
html_nodes(ateam, "center")
Do.call中的错误(方法，列表(Parsed_selector))：找不到函数"xpath_element“
如果加载包(如httr、xml2、selectr )，也会发生同样的情况。我好像也有这些包裹的最新版本..。
xpat
浏览 0提问于2016-11-29得票数 6
我正在使用租赁从网站上刮一些信息作为一个小爱好项目。但是，对于我试图提取的一个特定节点，它似乎将CSS样式代码附加到开头。
URL <- 'https://www.thepioneerwoman.com/food-cooking/recipes/a41138141/apple-pie-cookies-recipe/'
recipe <- rvest::read_html(URL)
directions <- rvest::html_nodes(recipe, ".et3p2gv0") %>%
rvest::html_text()
浏览 13提问于2022-10-12得票数 0
回答已采纳
3回答
我试图用rvest或RSelenium在rvest或RSelenium上提取内容，但当javascript页面以搜索框开头时却找不到指导？只要把所有这些内容都放到一个简单的CSV文件中就好了。
在那之后，从像这样的单独文件中提取数据似乎是可能的。但我也希望有个干净的建议去做。谢谢
浏览 0提问于2018-08-10得票数 11
回答已采纳
我试图使用rvest提取PGA高尔夫球手的出生日期。让我们试试斯图尔特·阿普比。这是他在ESPN网站上的个人资料。注意他的道布在他的头部旁边。
library("rvest")
url <- "http://espn.go.com/golf/player/_/id/11/stuart-appleby"
li_node <- url %>% html %>% html_nodes("li")
他的道布被包含在li_node第22项中。理想情况下，我不会硬代码[22]到我的程序，但即使我这样做，我会遇到错误。
li_node[
浏览 6提问于2015-02-26得票数 5
回答已采纳
1回答
我目前正在尝试从tripadvisor中抓取经度/经度数据。我可以在页面的源代码中看到经度和纬度，但是我不能抓取它。这是我的代码：
library(rvest)
WS <- "https://www.tripadvisor.fr/Restaurant_Review-g187147-d10514254-Reviews-Les_Apotres_de_Pigalle-Paris_Ile_de_France.html"
link <- read_html(WS)
lat <- link %>% html_node(".ma
浏览 9提问于2018-02-26得票数 0
1回答
我正在尝试使用rvest从fbref.com上的不同页面抓取数据表。我已经能够使用以下命令从一个页面中抓取数据：
library(rvest)
URL <- "https://fbref.com/en/squads/822bd0ba/Liverpool"
WS <- read_html(URL)
passStats <- WS %>% rvest::html_nodes(xpath = '//*[(@id = "ks_sched_all")]') %>% rvest::html_table() %>% data
浏览 5提问于2020-06-02得票数 1
回答已采纳
1回答
我试图从一个需要提交表单的站点中获取结果，为此，我使用了rvest包。
运行以下命令后，代码将失败：
require("rvest")
require(dplyr)
require(XML)
BasicURL <- "http://www.blm.mx/es/tiendas.php"
QForm <- html_form(read_html(BasicURL))[[1]]
Values <- set_values(QForm, txt_5 = 11850, drp_1="-1")
Session <- html_sess
浏览 4提问于2016-09-15得票数 2
回答已采纳
1回答
我对web scraping完全陌生，我正在探索R中的rvest库的潜力。
我正在尝试从下面的中获取意大利各省的幸福感表格，
install.packages('rvest')
library('rvest')
url <- 'http://www.ilsole24ore.com/speciali/qvita_2017_dati/home.shtml'
webpage <- read_html(url)
但是我无法确定表的XPath。
浏览 14提问于2017-12-28得票数 1
1回答
我尝试使用rvest从这个网站中提取"VAI ALLA SCHEDA PRODOTTO“的链接：
我的R码：
library(rvest)
page.source <- read_html("https://www.asusworld.it/series.asp?m=Notebook#db_p=2")
version.block <- html_nodes(page.source, "a") %>% html_attr("href")
然而，我无法得到任何类似于"/model.asp?p=2340487“的链
浏览 1提问于2018-02-09得票数 1
回答已采纳
1回答
我是新的网络刮刮，并试图在多个网页上刮表。以下是网站：
我可以很容易地使用rvest在一页上刮表。有多个表，但我只想刮第一个表，下面是我的代码
library(rvest)
url4 <- "http://www.baseball-reference.com/teams/MIL/2016.shtml"
Brewers2016 <- url4 %>% read_html() %>%
html_nodes(xpath = '//*[@id="div_team_batting"]/table[1]') %>%
htm
浏览 2提问于2016-10-19得票数 3
回答已采纳
1回答
我是R的新手，我想刮一个网站。该网站包含许多产品及其价格。当我刮这个的时候，不知怎么的，价格超过了产品的数量。
library(rvest)
url <- 'https://website'
webpage <- read_html(url)
SKU_data <- html_nodes(webpage,'.title') %>% html_text()
Price_data <- html_nodes(webpage,'.price') %>% html_text()
res
浏览 2提问于2017-05-15得票数 0
回答已采纳
1回答
如何从一个求职网站上获取公司评级
、、、、
我从来没有使用过HTML或CSS，但我知道R，所以我在网上和Stack中查看了几种抓取方法来在R中做这件事。我一直在从职位列表页面提取公司评级时遇到问题。我得到了character(0)，在示例url中，该公司具有4.0评级。 这是我的尝试： library(rvest)
library(tidyverse)
library(xml2)
#example URL
url<- "https://www.indeed.com/viewjob?jk=a25a91736b1f7042&tk=1e3q54n49heai800&from=serp&vjs=3&am
浏览 22提问于2020-03-20得票数 0
回答已采纳
1回答
谷歌每日搜索趋势
、、
我教自己网络抓取，并希望从谷歌每日搜索趋势：数据将包括搜索关键字，他们的排名，搜索频率的基础上，每天。
我试着用R在开始时使用rvest库进行抓取，但提取命令却刮掉了空数据。我想html网站的结构是不是太复杂了？因此，我想学习更好的方法，可以适用于网站。
我搜索了一些特定于每日搜索抓取的信息，但是找不到，因为大多数帖子都是关于提取谷歌趋势数据的，而不是每天的搜索。
什么是从网站中提取数据的有效方法，或者更一般的，这类网站？我很高兴学习除R之外的任何其他工具，并且掌握Python和Javascript方面的基本知识。如果有人能给我一个提示，那么我会挖掘它，但目前我甚至不知道从哪里开始。
谢谢,
浏览 0提问于2018-09-18得票数 1
回答已采纳
如果我对rvest::html_elements的初始调用结果使用rvest::html_elements，它会查找初始调用生成的节点集之外的结果。这是预期的行为吗？这似乎不太可能是一个未被发现的bug。 library(rvest)
html <- minimal_html("
<h1>This is a heading</h1>
<p>This is a paragraph</p>
<div><p>This is a nested paragraph</p></div>
浏览 21提问于2021-09-03得票数 0
1回答
我是一个非常新的网络抓取和尝试从一个链接抓取所需的内容。 这是上图的实际URL：https://ssb.bannerprod.memphis.edu/prod/bwckschd.p_get_crse_unsec 我希望输出如下所示： Sections Found Instructors email id
Academic Strategies - 10582 - ACAD 1100 - 001 Beverly McPhail
Academic Strategies - 10586 - A
浏览 17提问于2020-10-24得票数 0
回答已采纳
1回答
当我用rvest抓取维基百科的表格时，我很难找到小的内嵌参考数字。它们似乎包含在一个名为"sup“的类中，但我在刮擦过程中不能删除它们。
library(rvest)
library(tidyverse)
read_html("https://de.wikipedia.org/wiki/Ergebnisse_der_Landtagswahlen_in_der_Bundesrepublik_Deutschland") %>%
html_nodes(xpath = '//*[@id="mw-content-text"]/d
浏览 0提问于2018-04-13得票数 2
回答已采纳
我是网络抓取的新手，并且一直在尝试使用RSelenium (作为rvest的替代方案)来收集信息，因为我对一些网站使用JavaScript感兴趣。但是，当我使用下面的代码时，findElement()函数什么也不返回。 library(RSelenium)
driver <- rsDriver(browser=c("chrome"), chromever="81.0.4044.138")
remote_driver <- driver$client
remote_driver$navigate("https://www.gucci.c
浏览 45提问于2020-06-22得票数 1
回答已采纳
我试图从一个特定的类从一个网站的链接。但是，当我这样做时，会有一个空的数据集。
library(rvest)
library(purrr)
library(dplyr)
links_avai <- paste0("https://avai.com.br/page", seq(from = 1, to = 2)) %>%
map(. %>%
read_html() %>%
html_nodes(xpath = '//*[@class="gdlr-blog-title"]') %>%
浏览 4提问于2022-01-27得票数 0
1回答
我一直在练习使用rselenium和rvest包在R中进行网络抓取。因此，对于登录到许多网站，有一个登录按钮，当点击弹出窗口打开询问用户的id和密码。我一直在尝试下面的代码点击锚标签，其中有登录链接，但没有工作。
这是锚标记的html (示例)。
<a href="/profile/login_input.htm?userOriginHook=HEADER_SIGNIN_LINK" class="track-click gd-btn-locked-transparent susiLink sign-in strong nowrap" target="
浏览 2提问于2020-04-19得票数 2
回答已采纳
我正在从一个网站中抓取出现在特定类div中的所有文本。在下面的示例中，我想提取"a“类的div中的所有内容。
site <- "<div class='a'>Hello, world</div>
<div class='b'>Good morning, world</div>
<div class='a'>Good afternoon, world</div>"
我想要的输出是...
"Hello, world"
"
浏览 1提问于2018-01-22得票数 11
回答已采纳
我正在尝试从一组中列出的数字数量中剔除。所以在这个例子中，我想
$3，10，$25，$100，$250，$1500，$2800
xpath表示其中一个应该是
/html/body/div[1]/div[3]/div[2]/div/div[1]/div/div/
form/div/div[1]/div/div/ul/li[2]/label
和css选择器
li.btn--wrapper:nth-child(2) > label:nth-child(1)
下面，我在xml_nodeset中看到了一些东西
library(rvest)
url <- "https:
浏览 1提问于2019-05-12得票数 2
回答已采纳
我在使用rvest读取表和标准html时取得了很大的成功。目前，我在阅读包含多个引号的文本时遇到了问题。当引用文本和空格之后出现新的引文行时，rvest似乎添加了一个新的字母( and )。
这里是一个可重复的例子。
library(rvest)
read_html("https://www.lds.org/scriptures/ot/gen/1?lang=eng") %>%
html_node("#p3") %>%
html_text()
结果是
"3 And God asaid, Let there be blight: and
浏览 3提问于2017-10-22得票数 1
回答已采纳
嗨，我正在尝试使用Rselenium和Rvest来刮。我对这个项目很感兴趣，尽管我在编码方面的知识不多。希望有人能把我引向正确的方向。
我能够让它使用不同的代码，但我被限制在50个数据，只是因为我找不到解决办法在“显示更多”按钮。
--这是流程流程(导航到网站后)
1.)通过使用循环，它将在第一个表上单击“显示更多的**”*按钮，直到不再剩下来。
2.)提取表上的数据。
3.)将html表转换为数据帧
4.)保存到CSV
*挑战
1.)我不能让循环正常工作。我想我使用了错误的类/xpath(混淆了如何识别)。
2.)我想提取第一列，但不知道我应该在代码中放入哪些类/xpath。
3.)我能够使
浏览 5提问于2022-03-24得票数 0
我知道有很多关于这个问题的资源/问题，但我已经试了好几天了，似乎找不出答案。我以前曾在网上刮过网站，但这一次给我带来了麻烦。
网站：
我想刮的东西：，我想在“当前状态”->“污染物”选项卡下刮表。我希望每次更新表时都会刮掉这个信息，这样我就可以在我正在创建的一个闪亮的应用程序中使用这个信息。
我尝试了什么：，我尝试过许多不同的方法，但为了简单起见，我将展示我最近的方法：
library("rvest")
url<-"http://www.njaqinow.net"
webpage <- read_html(url)
tes
浏览 0提问于2019-04-02得票数 1
回答已采纳
使用rvest，如何选择没有属性的节点？ 例如： <nodes>
<node attribute1="aaaa"></node>
<node attribute1="bbbb"></node>
<node></node> <- FIND THIS
</nodes> 下面是一个使用XPath的相关thread，但当我尝试在rvest中使用类似于 wp %>% html_read(.) %>% html_nodes(xpath
浏览 17提问于2019-06-27得票数 0
回答已采纳
我有几个网页，我想刮(下面的html例子)。在我的示例中，我希望获得公司名称、位置、薪资、发布日期，因此我获取公司名称的方法如下：
library(xml2)
library(rvest)
library(tidyverse)
url <- "https://joblist.ala.org/job/library-director/53812381/"
page <- xml2::read_html(url)
company_name <- page %>%
rvest::html_nodes("li") %>%
rv
浏览 0提问于2020-04-23得票数 2
回答已采纳
我正在尝试抓取表中的所有数据，地址为：
我试过使用选择器小工具。实际上，我发现Chrome中的Right-click -> Inspect选项更容易使用。我发现选择器是：
#mw-content-text > div > table.wikitable.sortable.jquery-tablesorter
但是，我得到了不正确的输出，character(0)
library(rvest)
url <- 'https://en.wikipedia.org/wiki/List_of_countries_by_firearm-related_death_rate&#
浏览 6提问于2018-03-04得票数 0
回答已采纳
2回答
R:使用rvest下载镜像
、、、、
我正在尝试通过R从安全站点下载png镜像。
为了访问这个安全的站点，我使用了Rvest，它工作得很好。
到目前为止，我已经提取了png图像的URL。
如何使用rvest下载此链接的图像？
rvest函数外部的函数由于没有权限而返回错误。
当前尝试
library(rvest)
uastring <- "Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2228.0 Safari/537.36"
session <- html_session("htt
浏览 10提问于2016-03-24得票数 10
回答已采纳
我试图使用rvest从维基百科中提取ISO国家信息(包括来自另一个页面的链接)。如果不包含名称，我就找不到正确获取链接( href属性)的方法(我已经尝试过xpath字符串函数，它会导致错误)。这是相当容易运行-和不言自明。
任何帮助都很感激！
library(rvest)
library(dplyr)
searchPage <- read_html("https://en.wikipedia.org/wiki/ISO_3166-2")
nodes <- html_node(searchPage, xpath = '(//h2[(span/@id = &#
浏览 0提问于2017-10-21得票数 0
回答已采纳
1回答
我想获取在这个网站上找到的所有链接的地址：
因此，我编写了以下代码：
create_links <- function(keyword, distance) {
data.frame <- data.frame(character(), character(), stringsAsFactors=F)
postcode <- c(3511, 4000, 5000)
var_website1 <- "http://www.marktplaats.nl/z.html?query="
var_website2 <- "&
浏览 0提问于2015-11-12得票数 0
1回答
我正在尝试从网页https://www.geojit.com/other-market/world-indices和许多其他类似的网页中提取数据。 我需要获得网站的表格数据(索引，名称，国家，关闭，PREV.CLOSE，净变化，变化(%)，上次更新日期和时间)。如果你能分享这方面的R代码，那就太好了，或者欢迎任何帮助。 library(rvest)
library(dplyr)
google <- html("https://www.geojit.com/other-market/world-indices")
google %>%
html
浏览 21提问于2019-01-28得票数 3
回答已采纳
1回答
在网站中，我试图从网站顶部的下拉列表中选择“英语”语言。我可以打开下拉列表，但是没有从下拉列表中选择值('English')。我已经很接近了，但它似乎遗漏了一些简单的东西。 library(RSelenium)
library(xml2)
library(rvest)
# Docker
shell('docker run -d -p 4445:4444 selenium/standalone-chrome')
remDr <- RSelenium::remoteDriver(remoteServerAddr = "localhost",
浏览 6提问于2020-08-18得票数 0
我正在尝试使用rvest包来抓取嵌入在页面上的链接列表。在我使用这样的东西之前：
library(rvest)
page <- read_html("link")
page %>% html_nodes('{a href}') %>% html_attr('href')
但是，这只给了我与<a href="https://www.abcefg.com">Here</a>相关的链接，而不是这个链接<a rel="external nofollow noopener" h
浏览 1提问于2020-11-04得票数 0
我试着用新的rvest软件包刮一组网页。它适用于大多数网页，但当没有特定字母的表格条目时，将返回一个错误。
# install the packages you need, as appropriate
install.packages("devtools")
library(devtools)
install_github("hadley/rvest")
library(rvest)
此代码工作正常，因为网页上有字母E的条目。
# works OK
url <- "https://www.propertytaxcard.com/ShopHills
浏览 5提问于2014-11-02得票数 0
回答已采纳
我有一个关于网络抓取的一般问题和一个特定的案例。我刚刚开始我的数据分析旅程，这是我关于堆栈溢出的第一个问题。
，我能合法地刮掉我遇到的任何网站吗？如果没有，我如何确定我不能，它只是通过网站T&Cs还是我可以确定当我看网页代码？
我试图从页面获取最新的职位信息
"“
但是，在使用选择器小工具时，我似乎找不到元素。
library(dplyr)
library(rvest)
simple <- read_html("https://www.marinetraffic.com/uk/ais/details/ships/shipid:407535/")
simpl
浏览 1提问于2022-08-31得票数 0
1回答
我正在使用rvest包从网站下载信息，但我只对带有特殊标记data-cluster的链接感兴趣
<a data-cluster="3" href="http://wp.tv/i,nowe-prawo-drogowe-juz-latem-nowelizacja-czeka-na-podpis,mid,1659098,klip.html" title="Bat na kierowców już latem? "To będzie trzęsienie ziemi"" data-st-mtype="3&
浏览 0提问于2015-03-13得票数 0
2回答
帮助!在仔细地通过irb来使用Watir库控制浏览器(Firefox和Chrome)时，xpath地址似乎太不可靠了。例如：有一次，平衡的xpath似乎是一致的，所以我在脚本中使用了这个地址。有时它会工作，但经常会崩溃“元素找不到”，尽管每次我手动单步执行时，网页数据都在那里(firebug检查以确认)。
是的，使用依赖Ajax的网站，但不是changing....bank网站，这些网站在每次访问时几乎保持不变。
所以question....is可以简单地以xpath树的形式向我提供它在DOM中看到的所有内容的一个冗长的转储文件。会帮我排查故障。
浏览 1提问于2011-12-20得票数 3
回答已采纳
我试图将HTML表在R中刮除为data.frame，并且使用了现有的解决方案，但是R在下面引发了一个错误：
> theurl <- "https://www.dwd.de/DE/leistungen/klimadatendeutschland/statliste/statlex_html.html?view=nasPublication&nn=16102"
> webpage <- getURL(theurl)
Error in function (type, msg, asError = TRUE) :
error:140770FC:S
浏览 1提问于2018-03-09得票数 0
回答已采纳
这是我想要从网站上刮到的：
我试图得到的表有匹配的统计，但当我试图刮它，我只得到第一行，其中只包括球队的名字！
这是我使用的代码：
library(rvest)
url <- "https://www.premierleague.com/match/38413"
my_html <- read_html(url)
tbls_ls <- my_html %>%
html_nodes("table") %>%
.[2] %>%
html_table(fill = TRUE)
我不是R专家，所以我不确定我做错了什么
浏览 0提问于2018-11-09得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
对象存储
云直播活动推荐
腾讯云开发者
