如何为物联网设备存储数据?它们是以传统的关系数据库格式(表、行、列)还是其他格式存储的?是否有应用于原始传感器数据的软件或算法来组织它们?如有任何参考研究论文,将不胜感激。
发布于 2016-09-26 19:37:59
IoT数据将根据几个因素以不同的格式存储,但最不重要的是:
这些数据可能直接来自传感器,也可能来自互联网连接的设备(比如手机)。如果它直接来自传感器,并且您利用了提供的原生SDK,那么它很可能是以硬文件格式或XML格式出现的。如果你把它从手机上敲下来,你可能是在本地翻译数据,然后把它推到服务器上。根据您的场景,将定义传入服务器的数据格式,您需要权衡进一步的格式更改的处理成本和下面的其他考虑事项。
根据您访问数据的频率,事后摄入将决定您是要将这些值放入NoSQL DB (如SOLR或MongoDB)、关系数据库(如SQL),还是将它们保存为文件格式并将其存储在Hadoop中。如果您要使用Hadoop,我建议Cloudera而不是其他口味,您需要记住1亿文件的限制,不管.所以别忘了用HAR做你的存档策略。
您可能需要在摄入后对数据进行分析,并且该过程可能有其自身的要求。例如,在一个Mobile构建过程中,我需要通过WFBD (麻省理工学院开源库)来分析数据,WFBD要求以特定的格式输入文件.因此,我们使用了Hadoop存档和SQL/SOLR active db。
所有语言都接受Hadoop,但是特定的DB方法将要求您考虑使用.NET方法还是使用JAVA (或其他方法)。
希望这能有所帮助!
https://stackoverflow.com/questions/39689530
复制相似问题