文章/答案/技术大牛

发布

社区首页 >问答首页 >从Internet下载数据

问从Internet下载数据
EN

Stack Overflow用户

提问于 2019-08-25 02:09:06

回答 1查看 62关注 0票数 0

我正在寻找一些方法(最好是不基于硒的)从下面的链接下载数据

https://www.nseindia.com/circulars/circular.htm

我尝试在R中使用函数XML::readHTMLTable()，但无法成功。即使当我试图查看此页面的源代码时，我也看不到源页面中的相关信息。

任何指向使用R或Python下载数据的指针都将非常有用。

谢谢,

python

web-scraping

回答 1

Stack Overflow用户

回答已采纳

发布于 2019-08-25 02:27:35

您正在查看的表不在页面源代码中。您的浏览器运行JavaScript并发出额外的请求以获取此表。

您可以使用开发人员工具查找该表的实际URL，它位于network/xhr选项卡中。

library(rvest)
library(httr)
url <- "https://www.nseindia.com/circulars/content/circ_latest.htm"
ua <- "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/76.0.3809.100 Safari/537.36"
response <- httr::GET(url,user_agent(ua))
html_table(content(response))

作为参考，您可以阅读此部分：

https://github.com/yusuzech/r-web-scraping-cheat-sheet#rvest7.1

票数 2

页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://stackoverflow.com/questions/57640435

复制

相似问题

问从Internet下载数据
EN

回答 1

Stack Overflow用户

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐

问从Internet下载数据EN

回答 1

Stack Overflow用户

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐

问从Internet下载数据
EN