Web-scraping Rvest -如何从缩短的URL中捕获完整的‘href` url

Web scraping 是一种从网站中提取数据的自动化过程。Rvest 是一个流行的 R 语言包，用于网页抓取和数据提取。当你遇到缩短的 URL 时，通常需要先获取其重定向后的完整 URL 才能进一步提取 href 属性。

基础概念

1. 缩短的 URL：这些是通过服务如 bit.ly 或 tinyurl.com 创建的，目的是为了简化长 URL 的分享。
2. 重定向：当访问缩短的 URL 时，服务器会自动将浏览器重定向到原始的长 URL。
3. Rvest：一个 R 语言包，用于网页抓取和数据提取。

相关优势

• 自动化：减少手动复制粘贴数据的工作量。
• 效率：可以快速处理大量数据。
• 灵活性：可以针对不同的网站结构定制抓取策略。

类型与应用场景

• 类型：静态网页抓取、动态网页抓取（需要处理 JavaScript）。
• 应用场景：市场分析、竞争对手监控、数据挖掘、新闻聚合等。

解决问题的步骤

1. 获取重定向后的 URL：使用 R 中的 httr 包来跟踪重定向。
2. 使用 Rvest 提取 href 属性：一旦有了完整的 URL，就可以使用 Rvest 来提取所需的链接。

示例代码

以下是一个示例代码，展示了如何从缩短的 URL 中捕获完整的 href URL：

# 安装并加载必要的包
install.packages("rvest")
install.packages("httr")
library(rvest)
library(httr)

# 缩短的 URL 示例
short_url <- "http://bit.ly/3jZ4QZ9"

# 使用 httr 获取重定向后的完整 URL
response <- GET(short_url)
full_url <- content(response, "text")

# 使用 Rvest 从完整 URL 的页面中提取 href 属性
page <- read_html(full_url)
links <- page %>% html_nodes("a") %>% html_attr("href")

# 打印提取到的链接
print(links)

解释

1. 获取重定向后的 URL：
   • GET(short_url) 发送 HTTP GET 请求到缩短的 URL。
   • content(response, "text") 获取最终重定向页面的 HTML 内容。

• 提取 href 属性：
  • read_html(full_url) 将 HTML 内容解析为 Rvest 可以操作的格式。
  • html_nodes("a") 找到所有的 <a> 标签。
  • html_attr("href") 提取这些标签的 href 属性。

注意事项

• 合法性：确保你的抓取行为符合目标网站的 robots.txt 文件规定，并且不违反任何法律法规。
• 频率控制：避免频繁请求，以免对目标网站造成负担或被封禁。

通过上述步骤和代码，你可以有效地从缩短的 URL 中捕获完整的 href URL，并进行进一步的数据提取工作。