使用rvest抓取多个URL
rvest是一个R语言的包，用于从网页中抓取数据。它提供了一组简单而强大的函数，可以帮助我们解析HTML和XML文档，并从中提取所需的信息。
使用rvest抓取多个URL的步骤如下：
- 安装rvest包：在R语言环境中，使用以下命令安装rvest包：
- 安装rvest包：在R语言环境中，使用以下命令安装rvest包：
- 加载rvest包：在R语言环境中，使用以下命令加载rvest包：
- 加载rvest包：在R语言环境中，使用以下命令加载rvest包：
- 创建URL列表：将需要抓取的多个URL保存在一个列表中，例如：
- 创建URL列表：将需要抓取的多个URL保存在一个列表中，例如：
- 循环遍历URL列表：使用for循环或lapply函数遍历URL列表，并在每个URL上执行抓取操作。例如，使用for循环：
- 循环遍历URL列表：使用for循环或lapply函数遍历URL列表，并在每个URL上执行抓取操作。例如，使用for循环：
- 或者使用lapply函数：
- 或者使用lapply函数：
- 在循环或lapply函数中，你可以使用rvest提供的函数（如
read_html、html_nodes、html_text等）来解析HTML文档，并从中提取所需的信息。 - 数据提取和处理：根据需要，使用rvest提供的函数来提取和处理抓取到的网页内容。例如，使用
html_nodes函数选择特定的HTML元素，使用html_text函数提取元素的文本内容。具体的数据提取和处理方法取决于你所抓取的网页的结构和内容。 - 例如，假设你要从每个URL的标题中提取文本内容，可以使用以下代码：
- 例如，假设你要从每个URL的标题中提取文本内容，可以使用以下代码：
- 或者，如果你要提取每个URL的所有链接，可以使用以下代码：
- 或者，如果你要提取每个URL的所有链接，可以使用以下代码：
这样，你就可以使用rvest包来抓取多个URL，并从中提取所需的信息。根据具体的需求，你可以进一步处理和分析这些数据，或者将其保存到文件或数据库中。
腾讯云相关产品和产品介绍链接地址：
- 腾讯云官方网站：https://cloud.tencent.com/
- 腾讯云云服务器（CVM）：https://cloud.tencent.com/product/cvm
- 腾讯云云数据库MySQL版：https://cloud.tencent.com/product/cdb_mysql
- 腾讯云对象存储（COS）：https://cloud.tencent.com/product/cos
- 腾讯云人工智能（AI）：https://cloud.tencent.com/product/ai
- 腾讯云物联网（IoT）：https://cloud.tencent.com/product/iot
- 腾讯云移动开发（移动推送、移动分析等）：https://cloud.tencent.com/product/mobile
- 腾讯云区块链（BCS）：https://cloud.tencent.com/product/bcs
- 腾讯云元宇宙（Tencent Cloud Metaverse）：https://cloud.tencent.com/solution/metaverse
相关·内容
1回答
R-自动网页文本刮除
r、web-scraping、rvest、scrape
我正在尝试使用rvest自动从网站中抓取文本，但是当我尝试一个循环从向量：book.titles.urls读取网页urls时，我会发现下面的错误。但是，当我试图从单个页面(没有循环)中抓取想要的文本时，它工作得很好：
工作代码
library(rvest)
library(tidyverse)
#Paste URL to be read by read_html function
lex.url <- 'https://fab.lexile.com/search/results?keyword=The+True+Story+of+the+Three+Little+Pigs
浏览 1提问于2018-08-10得票数 2
回答已采纳
1回答
我正在使用rvest来抓取一个网站。它很有效，购买效率很低，而且我不知道如何让它更好地工作。
在url中是超过10.000个url的列表。
number <- sapply(url, function(x)
read_html(x) %>%
html_nodes(".js-product-artnr") %>%
html_text())
price_new <- sapply(url, function(x)
read_html(x) %>%
html_nodes(".product-page__price__new&
浏览 12提问于2016-09-26得票数 1
1回答
利用R从足球参考文献中抓取阵容数据
r、xpath、rvest
我似乎总是在使用Python或R抓取参考站点时遇到问题，每当我在R中使用我的普通xpath方法(Python)或R背心方法时，我想要的表似乎永远不会被刮刀捡到。
library(rvest)
url = 'https://www.pro-football-reference.com/years/2016/games.htm'
webpage = read_html(url)
table_links = webpage %>% html_node("table") %>% html_nodes("a")
boxscore_link
浏览 3提问于2017-11-21得票数 1
回答已采纳
1回答
用R抓取带有“查看更多”的连续页面
r、web-scraping、rvest
我是R新手，需要抓取此网站上帖子的标题和日期
使用rvest，我能够编写获取信息的基本代码：
url <- 'https://www.healthnewsreview.org/?post_type=news-release-review&s='
webpage <- read_html(url)
date_data_html <- html_nodes(webpage,'span.date')
date_data <- html_text(date_data_html)
head(date_data)
webpage <-
浏览 0提问于2018-10-14得票数 1
1回答
错误:无效的下标类型'list‘(Webscraping)
r、list、web-scraping
我正在尝试从以下url中抓取数据-：我想单击每个大学的名称并获取每个大学的特定数据。
首先，我收集了一个矢量形式的所有大学网址：
#loading the package:
library(xml2)
library(rvest)
library(stringr)
library(dplyr)
#Specifying the url for desired website to be scrapped
baseurl <- "https://university.careers360.com/colleges/list-of-degree-colleges-in-India&#
浏览 0提问于2019-02-04得票数 1
2回答
从多页TripAdvisor结果中提取数据
r、web-scraping、tripadvisor
我正在尝试使用rvest从跨越多个页面的TripAdvisor搜索结果中抓取数据。
下面是我的代码：
library(rvest)
starturl <- 'https://www.tripadvisor.co.uk/Search?q=swim+with&uiOrigin=trip_search_Attractions&searchSessionId=CA54193AF19658CB1D983934FB5C86F41511875967385ssid#&ssrc=A&o=0'
swimwith <- read_html(startu
浏览 3提问于2017-11-29得票数 0
2回答
使用rvest进行Web抓取
r、web-scraping、rvest
我正在尝试使用rvest将web抓取到以下网页：https://www.superu.ad/oli-de-girasol_c360259/ 但似乎rvest (R)不能找到url中已经存在的一些css选择器，如.product-name webpage<-read_html('https://www.superu.ad/oli-de-girasol_c360259/')
rank_data_html <- html_nodes(webpage,'.product-name') #returns nothing 我期望出现在url中的不同产品名称的输
浏览 17提问于2019-05-25得票数 0
回答已采纳
2回答
在R中搜索多个页面
r、web-scraping
我一直在尝试从抓取一个专利数据集。我想收集以下信息:申请号、状态和标题。我已经能够刮掉第一页了。但是，我需要保存所有6页。你知道如何在R中以最简单的方式做到这一点吗？下面是我的代码：
library(rvest)
url <- 'https://pdki-indonesia.dgip.go.id/index.php/paten?type=2&q8=1993&q27=ID&skip=0'
webpage <- read_html(url)
no_html <- html_nodes(webpage,'.number')
n
浏览 0提问于2018-06-15得票数 0
1回答
我刚接触抓取，对于第一个任务我决定抓取这个网页：
在页面下方有一个列表，其中包含我想要抓取的数字信息。你能帮我一下吗？我试过这个代码。
library('rvest')
url <- 'https://finstat.sk/databaza-financnych-udajov?EmployeeExact=False&RpvsInsert=False&Sort=assets&PerPage=20'
webpage <- read_html(url)
tabulka <- html_nodes(webpage, xp
浏览 0提问于2017-10-21得票数 0
1回答
带循环的with抓取
r、loops、web-scraping、rvest、xml2
我正在尝试使用循环函数从网站中抓取一些文本，但我的循环函数不会继续选择向量列表中的下一个项目。感谢任何有帮助的建议。谢谢
library(rvest)
library(xml2)
ID <- c(1:2)
Land <- c('Afghanistan','Ägypten')
url <- c('afghanistan', 'aegypten')
Text <- (NA)
data <- data.frame(ID, Land, Text)
for(i in url) {
nam <
浏览 0提问于2019-11-18得票数 0
1回答
如何使用rvest抓取网页的链接和文本？
r、web-scraping、purrr、rvest、stringr
我正在尝试使用R中的rvest来抓取阿根廷总统的演讲。以下是我到目前为止编写的代码： library(purrr)
library(rvest)
library(stringr)
url_president <- "https://www.casarosada.gob.ar/informacion/discursos?page=%d"
# extract relevant data on webpage
map_df(1:2, function(i) {
pg <- read_html(sprintf(url_president, i))
data.f
浏览 19提问于2021-11-13得票数 0
回答已采纳
1回答
使用rvest抓取多个URL
html、r、screen-scraping、rvest
在rvest中使用read_html时如何抓取多个urls？目标是从相应的urls中获得一个由文本主体组成的单个文档，以在其上运行各种分析。
我尝试连接urls：
url <- c("https://www.vox.com/","https://www.cnn.com/")
page <-read_html(url)
page
story <- page %>%
html_nodes("p") %>%
html_text
在read_html出现错误后：
Er
浏览 8提问于2020-02-25得票数 1
回答已采纳
1回答
R-如何在不丢失数据的情况下取消循环
r、loops、curl、web-scraping、rvest
我在抓取一个网站。在数千次迭代之后，服务器宕机了，系统卡住了，我得到了以下错误：
Error in curl::curl(path) : all connections are in use
有没有一种方法可以在不丢失我到目前为止抓取的数据的情况下退出循环，这值得下载一周？
library(rvest)
url <- paste("http://www.example.com",(1:130000))
GNR <- lapply(url,function(i) {
Sys.sleep(2)
try(list(html_text(html_nodes(read
浏览 0提问于2018-05-16得票数 0
2回答
在R中使用Rvest从网站中提取<p>和<span>元素时卡住了
r、web-scraping、rvest
我一直在乱搞一些网络刮在R使用Rvest试图建立一个NBA仪表板。在过去，我可以很容易地从篮球参考网站上抓取日程，因为它的web结构被设置为一个HTML表。最近我发现有一个NBA交易页面，名为
，我想从它中刮下来，并把这些数据放在我的仪表板上。
下面是网页的图片，我需要的数据，以及它的页面结构。可以看到，日期存储在<.span>对象中，在特定日期发生的每个事件都有<.p>对象。基本上，我只想将所有这些数据提取到R中的两个主列中，将跨度数据转换为Date列，将p数据转换为事件列。
下面是我到目前为止得到的一些代码，读取url，将其转换为可读的html，然后找到我
浏览 2提问于2020-11-16得票数 1
回答已采纳
1回答
如何阻止学术期刊页面的重定向
r、web-scraping、rvest
如何从ScienceDirect获得链接以避免重定向？
url <- "https://doi.org/10.1016/j.isci.2020.101838"
rvest::read_html(url) %>%
html_nodes(xpath = '//*[@id="abspara0010"]') %>%
html_text()
# Fails
我有一个大型的论文数据库：
pangiaoDB <- read_html('https://panglaodb.se/papers.html&#
浏览 5提问于2022-04-18得票数 -1
1回答
我想使用下面的scrape_change_page函数将单个请愿的链接添加到数据帧中，但我不确定如何调整以包含html_attr函数，该函数将从多个页面中抓取url链接。欢迎有任何想法！ library(pacman)
pacman::p_load(rvest, dplyr, stringr, purrr, lubridate, tibble, tidyr, stringi, stringr)
url <- 'https://www.change.org/search?q=ppe'
scrape_change_page <- function(url)
{
浏览 28提问于2020-08-03得票数 0
回答已采纳
1回答
不能用rvest刮掉所有的行
css、r、web-scraping、css-selectors、rvest
我的目标是从bluenile.com中抓取所有这些钻石数据。我有一些代码似乎在这样做，但它只捕获了前61行。
顺便说一句，我正在使用"“铬插件来获得CSS选择器。如果我向下滚动一点，高亮部分就会停止。这和网站有关吗？
library('rvest')
le_url <- "https://www.bluenile.com/diamonds/round-cut?track=DiaSearchRDmodrn"
webpage <- read_html(le_url)
shape_data_html <- html_nodes(webpa
浏览 0提问于2019-07-08得票数 1
回答已采纳
2回答
用rvest进行网刮:用NA替换缺少的html_nodes值
r、web-scraping、nested-lists、rvest
我抓取页面以获得(1)名称，(2)角色/编辑标题，(3)列出的每个人的机构联系。
问题是有些人没有机构联系。我想用NA替换这些缺失的值，但我的尝试都没有奏效。
我很感谢你的帮助！到目前为止，我的代码如下：
journal_url <- "https://www.journals.elsevier.com/academic-pediatrics/editorial-board"
webpage <- xml2::read_html(journal_url)
webpage <- rvest::html_nodes(webpage,
浏览 1提问于2020-12-14得票数 0
回答已采纳
1回答
在函数调用中使用unlist
r、loops、screen-scraping、rvest
我正在尝试创建一个基于web抓取大量URL的数据集。
对于这个例子，我试图刮掉名为h2.title的节点，它是li.portal_list_item的子节点。也就是说，我希望创建一个包含节点所有值的向量(每个URL上有500)。
我希望在循环或函数中这样做。
URL的一个子集是，
test_urls <- c("https://projekter.aau.dk/projekter/da/studentthesis/search.html?showAdvanced=true&advanced=true&pageSize=500&page=1",
浏览 1提问于2021-12-13得票数 0
1回答
我怎样才能从简体中文网站上抓取内容？
r、rvest、cjk
我已经在各种英语网站上测试过这个代码，没有问题。然而，当我试图从一个用简体中文的网站上抓取内容时，这些数据在CSV文件中似乎是胡说八道。此外，文章正文被分散在Excel中的多行中，而不是包含在一个单元格中。有人能帮忙吗？
install.packages("rvest")
library(rvest)
###specifying the URL for the website you want to scrape ###
url <-'https://new.qq.com/omn/20190823/20190823A02W4Q00.html'
##re
浏览 0提问于2019-08-24得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
活动推荐
腾讯云开发者
