问如何处理任意时间序列数据的收集和分析(数据流挖掘)

EN

在我们的黑客空间，我们有几个环境传感器和事件跟踪器(如#连接的设备，加热，酒吧交易等)它定期输出timeseries数据。当前平台的输出由unix时间戳+值/事件组成。对于每个探针，这些测试的时间间隔是不同的。

的目标是在一个数据集中收集此数据集。

1. 有效存储
2. 在线分析(使用scikit)
3. 流可视化(使用bokeh)
4. 以集成的方式处理实值和离散数字数据。
5. (最好使用Python，但这不是必需的。)

实现上述目标的好的实用方法是什么？是否存在提供此功能的现有库？

目前(不完善)的计划：

• 集成timeseries对象，并将它们集成到numpy数组或熊猫timeseries dataframe中。
• 用最小的可用时间间隔更新x轴，并将丢失的数据点设置为NaN，用于间隔较大的传感器。
• NaN值以后可以被插值/转换。

但是，这将导致具有大多数NaN值的数据集，这会带来其自身的统计问题和可能的存储问题。另一种选择是预先确定中间间隔并存储丢失的一些数据。