矩阵的mpi4py Allgatherv

文章/答案/技术大牛

发布

1回答

matrix、mpi4py

我有一个大小为(n0,N)和(n1,N)的矩阵x，分别用于两个不同的MPI进程。我试图将它们收集到一个矩阵中，在两个过程中都定义。这是我的尝试： """import numpy as np x=2.0*np.ones((n1,N),dtype=np.float64

浏览 32提问于2020-10-01得票数 0

1回答

在Cray XC30上运行VASP 5.3.5时出错

mpi、cray

Cray XC30上运行VASP 5.3.5时，我会看到以下错误：PMPI_Allgatherv(1235): MPI_Allgatherv(sbuf=0x49ead730, scount0x49e95730, rcounts=0x494cdba0, displs=0x494d7360, MPI_DOUBL

浏览 7提问于2015-06-01得票数 2

2回答

我的问题是在一个3Dnumpy数组A上执行3次矩阵乘法，这个数组太大了，不适合单个处理器。在张量形式中，我想要A_ijk B_km C_jn D_ip (B、C和D都可以放在内存中)。我认为最好的方法是将这个操作分成每个乘法，并确保它们都是局部的。这个链接有一个非常有用的图表，它总结了我正在谈论的http://www.2decomp.org/1d_mode.html。更详细地说:首先，要做A_ijk B_km，我应该在前两个轴上分布A，并在本地对每个铅笔执行

浏览 15提问于2019-06-24得票数 1

1回答

在并行mpi4py中读取文件

python-3.x、mpi4py

我有一系列的n个文件，我想使用mpi4py并行阅读这些文件。每个文件都包含一个列向量，作为最终结果，我想获得一个矩阵，其中包含所有的单个向量，如X= x1 x2 .xn。在代码的第一部分中，我创建了包含所有文件名的列表，并通过分散方法将列表的一部分分发给不同的核心。，并将列向量附加到矩阵X中。使用聚集方法，我将由单个核计算的所有X矩阵存储到一个矩阵X中。这是我使用mpi4py<em

浏览 19提问于2022-04-06得票数 0

1回答

C，openMPI:从每个进程向所有其他进程分发数据块的最佳方法是什么？

c、mpi、openmpi

在我的mpi程序中，每个进程都有或使用一个数据块：这些块具有相似的，但的大小并不相同。char **blockarray;*blockarray[i] // for i in [0... number_of_processes-1]是第一个过程的前一个块。但重要的不是顺序，"

浏览 3提问于2014-09-19得票数 0

回答已采纳

1回答

Python:用mpi4py发送不连续数据

python、mpi、mpi4py、memory-layout

我有一个维数的C-序矩阵(N，M)。其中，我希望通过持久MPI请求向另一个节点发送列。然而，使用mpi4py，由于切片不连续而失败。有人能提出解决这个问题的方法吗？我相信在C中，MPI_Type_vector允许在创建类型时指定stride。我如何用mpi4py来完成这一任务？

浏览 5提问于2012-09-20得票数 2

回答已采纳

1回答

具有派生数据类型的MPI_ALLGATHERV

fortran、mpi

我正在尝试使用带有派生数据类型的MPI_ALLGATHERV。中使用的每个进程都是可见的。进程的总数是27，它们的编号是从0到26。DO NT=0,26 IF (NT.GT.0) DISPL(NT+1)= DISPL(NT)+1 现在，我使用以下语法执行MPI_ALLGATHERV：这个问题中的任何建议都将是非常有帮助和感激的。

浏览 0提问于2014-01-01得票数 0

1回答

高效的并行3D旋转

python、3d、parallel-processing、rotation

我有一个很大的(1000x1000x5000) 3D numpy数组，我需要在它上面执行许多3D旋转，然后计算一个不对称的距离变换。距离转换是微不足道的并行化，但我需要一种方法来执行旋转本身使用计算集群(没有那么多，例如2 2GB的内存/核心)。有效利用计算集群的好策略是什么？(它没有任何GPU或其他专门的硬件)。是的，我需要旋转的体积-这意味着我不能简单地重新标记坐标，因为非对称距离转换将多次覆盖数据集。我在集群上使用的软件是: pytho

浏览 0提问于2015-07-14得票数 1

1回答

[Python]：mpi4py并行数值点积

python、numpy、parallel-processing、cluster-computing、mpi4py

因此，我尝试在集群上使用mpi4py来并行numpy的点积。其基本思想是将第一个矩阵拆分为较小的矩阵，将较小的矩阵与第二个矩阵相乘，然后将结果堆叠为一个。 ? 我遇到了一些问题，虽然并行乘法的结果与在一个线程上运行的结果不同，但第一行除外。from mpi4py import MPIworld = comm.

浏览 19提问于2020-07-07得票数 1

回答已采纳

1回答

Scattercv位移大于int max

mpi、mpi4py

我试图在一些有重叠区域的处理器上分配一个2D矩阵。我注意到mpi4py的函数分散不适用于2d数组，于是我被迫使用一维数组。这里的问题是，在某些处理器中的位移可以大于int的极限。import numpy as npfrom math import ceil N = 50000dtype=np.float32) comm

浏览 11提问于2022-09-14得票数 0

回答已采纳

1回答

python中稀疏矩阵的并行汇编

python、numpy、parallel-processing、sparse-matrix、mpi4py

我正在尝试使用mpi4py并行组装一个非常大的稀疏矩阵。每个秩产生一个稀疏子矩阵(以scipy的dok格式)，需要将其放在非常大的矩阵中。到目前为止，如果每个秩都生成一个numpy数组，其中包含非零值的索引和值(模仿coo格式)，那么我就成功了。在聚集过程之后，我可以从numpy数组中组装出大的矩阵。最终矩阵将以mtx格式文件的形式写入磁盘。收集稀疏子矩阵<em

浏览 7提问于2017-02-08得票数 0

1回答

如何安装没有sudo的mpi4py？

python、linux、mpi

当我尝试在Ubuntu 22上安装没有sudo的mpi4py时，我会得到以下错误( sudo工作得很好)： copying src/mpi4py/MPI.pyi -> build/lib.linux-x86_64-cpython-39/mpi4py copying src/mpi4py/<e

浏览 8提问于2022-07-31得票数 0

回答已采纳

1回答

如何使用python mpi4py将所有可能的列对分散/发送到子进程，并找到列之间的一致性？并行计算

python-3.x、mpi4py、numpy-slicing

我有一个很大的矩阵/2D数组，对于每个可能的列对，我需要在python (例如mpi4py)中通过并行计算找到一致性。一致性a函数在不同的子进程处计算，子进程应该将一致性值发送到父进程，父进程将一致性值收集为列表。为此，我创建了一个小矩阵和所有可能的列对列表，如下所示： import numpy as npfrom itertools import combinationsfrom mpi4py</e

浏览 22提问于2021-11-19得票数 1

回答已采纳

1回答

mpi4py --对矩阵列使用类型

python、mpi、mpi4py

使用mpi4py，我创建了一个代码，它定义了一个新的数据类型来保存矩阵的列，并将其发送到其他MPI进程：column.Commit只要矩阵的第一列是有关的。程序打印： [ 5 -2 -2 -2] [13 -4 -4 -4]] 如何将矩阵的第二列从进程0发送到进程1？当我尝试使用comm.Se

浏览 3提问于2021-11-24得票数 0

回答已采纳

1回答

在Mac上更新后未导入Python包

python、macos、mpi

我最近更新了我安装的所有pip软件包，我不能再导入mpi4py了。`Name: mpi4pySummary: Python bindings for MPI Home-page: httpsmpi4py/__main__.pyc,mpi4py/bench.py,mpi4py/bench.pyc,mpi4py/dl.

浏览 3提问于2017-11-23得票数 2

回答已采纳

1回答

mpi4py (setup.py) .安装stable_baselines时出现错误消息

python、python-3.x、macos、flow-project

在此下面，您可以看到错误消息的片段。谢谢。creating build/lib.macosx-10.14-x86_64-3.7/mpi4py/include/mpi4py copying src/mpi4py/include/mpi4py/mpi4py/include/mpi4py/mpi4py.h -> build/

浏览 0提问于2019-08-19得票数 0

1回答

通俗易懂地理解MPI_Allgatherv

c++、mpi

在过去的几周里，我一直在学习如何实现MPI，我很难理解如何为MPI_Allgatherv设置一些输入参数。我会用一个玩具例子，因为我需要在这里迈出一小步。和…id_proc =1将在mydata2 - mydata上工作一旦每个处理器处理了它们各自部分的mydata，我想使用Allgatherv将结果合并在一起，以便每个处理器上的mydata包含所有更新的值我们知道Allgatherv需要8个参数：(1)发送的元素/数据的

浏览 5提问于2013-04-11得票数 3

回答已采纳

1回答

使用MPI_Allgather收集不同大小的数组

fortran、mpi

MPI_Allgather似乎假设从不同进程收集的所有数组都具有相同的大小。然而，在我的例子中，要收集的数组在不同的进程中具有不同的大小。对于这种情况，应该使用什么子例程？是MPI_Allgatherv吗？

浏览 2提问于2018-11-15得票数 0

3回答

如何让mpi4py在Windows上工作

windows、openmpi、mpi4py

我在试着用mpi4py。pip install mpi4pyfrom mpi4py import MPI我在mpi4py文件夹中找过了，确实找不到。编辑:最初的问题是关于在windows10上安装OpenMPI并在mpi4py上使用它，但由于我找到了一种在MSMPI上运行mpi4py的方法，所以我更改了标题

浏览 0提问于2016-05-22得票数 9

回答已采纳

1回答

MPI4PY:分散矩阵

python、matrix、parallel-processing、mpi、mpi4py

我使用MPI4PY将n/p列分散到两个输入数据进程中。但是，我不能发送我想要的专栏。为了在最终注释中报告结果，我必须对代码进行哪些更改？矩阵是： [1, 2, 3, 4][9, 10, 11, 12]from mpi4py import MPIsize = comm.G

浏览 10提问于2020-12-01得票数 0

回答已采纳

点击加载更多