我需要从不同的来源和目的地刮历史市场运费。目前,我只有像这样的交互式图形可供我使用:
样例图

您必须单击图形才能显示数字(所有数字都会同时出现)。
我有一些HTML web抓取Scrapy库的经验,但我想知道像BeautifulSoup这样的东西是否有能力处理这种类型的问题。
发布于 2019-06-29 12:21:38
简而言之,是的,但这要看情况。
大多数javascript图的工作方式是将json数据嵌入到<script>标记中,或者对其发出ajax请求。所以在某个地方有json格式的图形数据--你只需要找到它。
为了找到它,你应该首先打开你在图表中看到的一些关键点的页面源代码和ctrl+f。在你的例子中,从£407开始-它很可能是在嵌入式json中:
<script type="application/ld+json">
{'prices': ['£407',...]}
</script>或者,它也可以作为AJAX请求来检索。例如,以这个craft.co案例为例。当您加载https://craft.co/netflix页面时,它会发出对图形数据的AJAX请求:

https://stackoverflow.com/questions/56814657
复制相似问题