我有每秒从传感器到Azure IoT集线器的JSON数据。数据是由15个变量组成的时间序列。我想使用c#应用程序实时处理此数据,该应用程序相当复杂,并将输出事件发送到其他服务(可以是存储或PowerBI)。您认为最好的架构方法是什么? 1.尝试使用c#代码处理流分析中的数据,我知道.Net支持天青流分析,但我认为还为时过早?有这种方法的经验吗? azure流分析是否支持复杂的c#算法? 2.将数据存储到azure数据湖并使用数据湖分析来处理数据?
非常感谢您的经验和建议。非常感谢
发布于 2017-07-06 16:55:49
处理流分析中的数据
Azure Stream Analytics使用Stream Analytics查询语言对事件流执行转换和计算。C#软件开发工具包只是一种创建和运行流分析作业的方法。所有的转换和计算工作都应该用Stream Analytics查询语言编写。
流分析在实时数据处理场景中更好。我建议你把这两种方式结合起来。使用Azure Stream Analytics进行初步和必要的数据处理和转换,并将数据输出到azure数据湖,并使用数据湖分析进一步处理数据。
发布于 2017-10-25 07:21:03
如果您对替代解决方案持开放态度,您还可以使用Stride这样的HTTP API,它支持创建链接在一起的连续SQL查询网络,并能够订阅变更流作为将数据流式传输到应用程序的一种手段。
如果您的计算需求符合SQL的范围,那么这种方法可能适合您。您可以查看Stride docs以查看一些示例。
https://stackoverflow.com/questions/44922762
复制相似问题