我正试着用rvest来搜集劳工部的数据。我有一个清单的EINs和PNs (参数在网络搜索表格),我想搜索。到目前为止,我的情况如下:
library(rvest)
library(magrittr)
## URL to page with search form to be populated
site <- "http://www.efast.dol.gov/portal/app/disseminate?execution=e1s1"
session <- html_session(site)
form <- session %>%
html
我需要从3页收集链接,每个有150个链接,使用R与rvest库。我使用了一个for循环来遍历页面。我知道这是一个非常基本的问题,已经在其他地方得到了回答:R web scraping across multiple pages Scrape and Loop with Rvest我尝试了以下代码的不同版本。它们中的大多数都有效,但只返回了50个链接,而不是150个链接 library(rvest)
baseurl <- "https://www.ebay.co.uk/sch/i.html?_from=R40&_nkw=chain+and+sprocket&_s
我正在使用下面的代码在R中使用rvest从本文页面中抓取文本关键字:
#install.packages("xml2") # required for rvest
library("rvest") # for web scraping
library("dplyr") # for data management
#' start with get the link for the web to be scraped
page <- read_html("https://www.sciencedirect.com/scien