在我的并行程序中,有一个大矩阵。每个进程计算并存储其中的一部分。然后,程序通过让每个进程按照正确的顺序编写自己的矩阵,从而将矩阵写入文件。输出文件采用“未格式化”形式。但是当我试图用串行代码读取文件时(我分配的大矩阵的大小是正确的),我得到了一个我不明白的错误。
我的问题是:在MPI程序中,如何获得二进制文件作为由不同进程存储的大型矩阵的串行版本输出?(67): input statement requires too much da
我有一个非常大的二进制文件(~200 big ),其中包含序列化的对象。迭代算法多次读取该文件(100-200次),并独立处理所有记录。从文件中读取原始数据并使其可由多个线程读取的最快方法是什么?
注意:由于从磁盘读取比处理对象慢得多,即使是反序列化也应该移到工作进程中。所以我需要一个线程安全的原始数据存储。
我有一个带256 to内存的32核心机器,并且是新的并行计算。我要讲这句话:这是一个非常大的矩阵。"x“指的是我想存储到文件中的子矩阵。但是“更改”64次,每次迭代需要+- 8分钟,因此需要并行化。mat_flag) # Saves the data to a file
pool.close()
文件""