问如何存储多维数据

EN

请考虑以下情况：

• 我每小时测量一次值(time) (运动从几个月到10年)
• 几种 (1 ~10种)
• 使用多个仪器 (1到5)
• 关于几个测量位点的 (~70)
• 每个站点都有几个采样级别 (1到5)。
• 并且每个值都有一个标志，指示它是否有效。

我正在寻找最快和最简单的存储这些数据的方法，考虑到数据库/文件/任何东西都应该可以用R来读和写。

请注意：

• 有些实验包括很长一段时间，很少的物种，一个单一的仪器和取样水平，
• 一些实验包括比较许多站点相同的几个月的时间框架(~70)。
• 有些站点有许多采样级别和/或仪器(将进行比较)
• 存储系统必须是可读的(如果可能的话)是并行的。

到目前为止我尝试过的是：

• MySQL数据库，每个站点/物种有一个表，每个表都包含了折叠栏:时间、取样级别、仪器、值和标志。当然，随着站点数量的增加，表的数量也在增加。比较站点是痛苦的，因为它需要大量的请求。而且，采样水平和仪器在表中重复时间很长，这就没有效率地占用空间。
• NetCDF文件:有趣的是它们存储多维数据的能力，它们很好地存储一组数据，但不实用于日常的修改，也不是很“可伸缩”。
• Druid是一个多维数据库管理系统，最初是“商业智能”-oriented。这个原理很好，但是对于我的应用来说，它太重了，太慢了。

因此，我正在寻找一种制度，即：

1. 大致相同的时间来检索
   • 1个地点、1个物种、1个仪器、1个取样级别的100小时数据，或
   • 10个地点、1个物种、1个仪器、1个取样级别的10小时数据，或
   • 1个地点、2个物种、1个仪器、5个取样级别的10小时数据，或
   • 等。

​

1. 允许并行R/W
2. 尽量减少从数据库中写入和读取的时间。
3. 尽量减少使用过的磁盘空间
4. 允许轻松添加一个新的地点，或乐器，或物种等。
5. 与R一起工作

一个好的系统将是一种超立方体，它允许所有维度上的复杂请求.