我们发现在同时读取时,使用来自GP2或GP3的AWS文件存储(EFS或EBS )非常缓慢。下面是一个例子:这样做一次大约需要16毫秒。但是,如果我在同一个EC2实例上生成8个并行进程,每个进程读取不同集的30个二进制文件,则每个进程平均占用105 ms (比单个进程慢556%)。这几乎就像8读是串行的,而不是并行</e
所以我从一堆不同的文件中读取了很多数据。主要的速度障碍之一是读取数据。问题是,这些文件位于各自的目录中,用于它们的时间步骤,其中包含该时间步骤的每个变量。基本上,我有一些像这样的功能。the particular variable data[variables[j]][i] = that data
TLDR将numpy数组<