天气预报数据的Azure存储技术
天气预报数据的Azure存储技术
提问于 2019-05-17 13:16:19
为了存储Azure技术的一些预测数据，我想要一些关于正确的技术选择的建议/技巧。我和我的团队每天从不同的来源收集一些天气预报数据，并将其存储在Azure文件存储中。文件格式为"grib2“，这是一种标准的天气预报数据格式。我们可以使用运行在Azure上的python脚本从这些"grib2“文件中提取数据。
我们现在有几个文件表示数百in的数据要存储，我很难从Azure技术中找出哪一个数据存储适合我们在实用性和成本方面的最佳需求。
我们首先开始使用"Azure Table Storage“，因为它是一种廉价的解决方案，但我在许多帖子中看到，它有点老，不太适合我们的解决方案，例如，它不允许每次查询超过1,000个实体，也不允许对数据进行聚合。
我考虑过使用Azure，但它似乎很快就会变得非常昂贵。
我还考虑了Azure Data Gen2 (和HDinsight)技术，但对这些blob存储并不太放心，也无法说它是否适合我的实际需要，以及是否“易于查询”。
现在我们只是计划实现这个目标:
1)通过运行在Azure VM上的python脚本从grib2文件中提取数据2)将转换后的数据插入Azure存储中3)查询Azure机器学习服务或本地R脚本(例如)将计算出来的数据插入Azure存储中
那里的Azure存储技术是确定。
任何帮助或建议都将不胜感激，谢谢。
回答 1
Stack Overflow用户
发布于 2019-05-17 13:51:47
我会在这里看到几件事：
- 若要以原始格式存储下载的文件(在您的示例中为grib2)，请将它们放置在good ol‘Azure Blob存储中。便宜的储藏室完全符合你的需要。
- 使用Azure数据库从存储帐户加载数据并将其解压缩到内存中。(python或scala)
- 加载内存中的数据-仍然在Databricks中-运行您的ML推断。如果你真的愿意的话，你也可以使用SparkR。
- 将计算的文件存储在服务层中。这真的取决于你以后想用它做什么。通常，Azure SQL数据库是一个显而易见的选择。有一个本机火花连接器可以有效地将数据从Databricks写入SQL。
除了使用Databricks作为您的推理环境之外，它也是ML培训的好选择(例如使用Azure ML服务)。
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/56187227
复制相关文章
相似问题
腾讯云开发者
