首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >像这样抓取javascript图形是可能的吗?

像这样抓取javascript图形是可能的吗?
EN

Stack Overflow用户
提问于 2019-06-29 10:20:04
回答 1查看 144关注 0票数 0

我需要从不同的来源和目的地刮历史市场运费。目前,我只有像这样的交互式图形可供我使用:

样例图

您必须单击图形才能显示数字(所有数字都会同时出现)。

我有一些HTML web抓取Scrapy库的经验,但我想知道像BeautifulSoup这样的东西是否有能力处理这种类型的问题。

EN

Stack Overflow用户

发布于 2019-06-29 12:21:38

简而言之,是的,但这要看情况。

大多数javascript图的工作方式是将json数据嵌入到<script>标记中,或者对其发出ajax请求。所以在某个地方有json格式的图形数据--你只需要找到它。

为了找到它,你应该首先打开你在图表中看到的一些关键点的页面源代码和ctrl+f。在你的例子中,从£407开始-它很可能是在嵌入式json中:

代码语言:javascript
复制
<script type="application/ld+json">
{'prices': ['£407',...]}
</script>

或者,它也可以作为AJAX请求来检索。例如,以这个craft.co案例为例。当您加载https://craft.co/netflix页面时,它会发出对图形数据的AJAX请求:

票数 4
EN
查看全部 1 条回答
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/56814657

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档