我想将Azure数据湖存储与Grafana集成起来,以实现时间序列数据的可视化。我需要知道我可以使用哪些工具来使其成为可能。我使用ADF从数据湖中存储的csv文件中提取数据,并移动到Azure数据资源管理器中的一个表中。在那之后,我使用了grafana中的Azure data explorer插件来进行可视化。
我正在抓取一个包含2M数据的网页,用Watir滚动页面,而不是用Nokogiri获取数据。我可以通过一次请求获取所有数据。或者首先,将数据存储在散列中,然后保存到数据库中?textend
# User.import(users, batch_size: 1000) -> i can use batching
我应该将其直接保存到数据