使用azure中的数据湖存储进行实时数据聚合
使用azure中的数据湖存储进行实时数据聚合
提问于 2017-03-26 18:36:43
目前，我正在存储来自设备的分钟地理位置数据，我想计算每个设备之间的差异，并将其存储为分钟距离。之后聚合它，例如小时，3小时和一些其他聚合，每次当新数据来到我的主csv文件与分钟地理位置数据。
我目前计划做的是在特定的间隔时间(例如2/3分钟或由事件触发)调用u-sql脚本，这些脚本读取我的主要地理位置数据，计算每个设备的分钟差，并按分钟、小时等将其聚合到特定文件上。
但是，也许有什么有效的方法可以用azure工具来做我真正需要的事情呢？
回答 1
Stack Overflow用户
发布于 2017-03-26 23:52:18
Azure Data Lake Analytics (ADLA)和U-SQL目前仅为批处理，即处理以分钟和小时为单位的大容量的较大作业，而不是秒。你可能想看看Stream Analytics，它可能更适合你的设计。您可能还希望查看同时涵盖实时和批处理的lambda架构模式，在这种情况下，Azure Data Lake Storage (ADLS)可能是大数据存储。
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/43027657
复制相关文章
相似问题
腾讯云开发者
