在R中的循环内添加[[j]]或每行中使用的其他信息
在R中的循环内添加[[j]]或每行中使用的其他信息
提问于 2020-01-07 22:16:19
我的疑问是如何在"my_data“(my_data$sector)中包含一个列，以显示该行使用了什么url_list[[j]]或url_info。每个url会给我带来一个表格(35 X 100)，我需要显示什么元素是源时，把所有放在一起。
url_list <- vector()
url_info <- vector()
# then, i feed it.
total_pages <- 1:5 #for my use, i need almost 100 pages
for (i in total_pages) {
url_list [i] <- paste('http://www.mylink/result.php?sector=',i,sep = "")
url_info [i] <- paste('sector_',i,sep = "")
}
url_list
>> [1] "http://www.mylink/result.php?sector=1" "http://www.mylink/result.php?sector=2"
[3] "http://www.mylink/result.php?sector=3" "http://www.mylink/result.php?sector=4"
[5] "http://www.mylink/result.php?sector=5"
url_info
>> [1] "sector_1" "sector_2" "sector_3" "sector_4" "sector_5"
#scraping
my_data <- list()
for (j in seq_along(url_list)) {
my_data[[j]] <- url_list[[j]] %>%
read_html() %>%
html_node("table") %>%
html_table()
}
final_data <- cbind(do.call(rbind, my_data))回答 2
Stack Overflow用户
回答已采纳
发布于 2020-01-07 23:10:05
我没有可以绑定的表的url列表，但是尝试下面的东西，它会将url附加到最后一列。
对于rbind，您必须在实际数据上尝试它：
my_data <- list()
url_list=c(
"http://en.wikipedia.org/wiki/List_of_U.S._states_and_territories_by_population",
"https://en.wikipedia.org/wiki/List_of_U.S._states_and_territories_by_historical_population",
"https://en.wikipedia.org/wiki/List_of_countries_and_dependencies_by_population")
for (j in seq_along(url_list)) {
my_data[[j]] <- url_list[[j]] %>%
read_html() %>%
html_node("table") %>%
html_table() %>%
mutate(url=url_list[j])
}Stack Overflow用户
发布于 2020-01-07 22:26:15
像这样的东西应该是可行的
library(tidyverse)
library(xml2)
pipe_function <- . %>%
read_html() %>%
html_node("table") %>%
html_table()
tibble(url_info,url_list) %>%
mutate(table = url_list %>% map_dfr(pipe_function))页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/59630185
复制相关文章
相似问题
腾讯云开发者
