我有几个传感器可以测量温度、湿度和空气质量。数据通过IoT平台收集并存储到Cassandra Cluster。为了将数据从Cassandra集群分发到所有其他应用程序,我在java中创建了一个Rest Api。
数据收集脚本是用C和python编写的。而java中的Rest Api。
我的问题如下。
我想要过滤我的原始传感器数据,以便排除诸如高温和低温等值,以便具有尽可能低的故障率。我读过t卡尔曼滤波,但我不希望它实时发生,我更喜欢在Cassandra节点上直接过滤我的数据。
我现在最好的猜测是为ex创建一个服务。java,以及过滤具有时间间隔的数据,排除不希望的值。
例如,一个每天触发一次的服务,它将排除自上次记录以来最后一次激活时间内的所有“坏”值。
对于这样的方法有什么建议吗?或者有人有更好的建议吗?或者更好的是一些可以指导我完成这个过程的出版物。
提前谢谢。
发布于 2019-03-27 21:16:26
这在很大程度上取决于表的设计--什么是分区、键等。
这种用例非常常见,对于这样的任务,最好将Spark与Spark Cassandra Connector结合使用,以便最有效地读取数据。如果你不想使用Spark,在实现服务时需要非常小心--不要执行像select * from table
之类的东西,因为它会杀死集群。
附注:如果您提供其他信息,我可以展开答案:
包含将在该服务中执行的infomation
https://stackoverflow.com/questions/55267918
复制相似问题