问GPU集群上MPI + CUDA软件体系结构

EN

在GPU集群上使用OpenMPI和CUDA时，我想征求一些建议。

我是一个初学者，我觉得我无法预见我对软件架构所做决定的后果。我非常感谢某人的建议/经验法则，因为关于GPU集群的信息非常稀少。

框架：

集群体系结构

• 集群有1个前端节点和9个计算节点。
• 集群是异构的，每个节点都有Intel Xeon CPU和Nvidia Tesla K80，但是处理器数和GPU卡数不同。
• 集群运行PBSPro调度程序。

目标

1)将数据从root_MPI_process重分发到MPI_processes

2)将数据加载到GPU，执行内核(SIMT-并行计算)，得到结果。

3)将结果发回root_MPI_process

4) root_MPI_process对结果进行处理，生成新的数据。迭代->重新分配数据..。

步骤1、2、3是纯[SERIAL]，每个生成的MPI_process都独立于所有其他步骤，即在任意两个MPI_processes之间不移动任何数据段。

我对软件架构的考虑

Alt。1) 1 MPI处理== 1 GPU

• 启动X MPI_processes，每个MPI_process (root_MPI_process除外)负责一个GPU。
• 然后，MPI_process接收一块数据，适当地传递给GPU并执行内核.上述步骤

Alt。2) 1 MPI处理== 1计算集群节点(具有多个GPU)

• 启动X MPI进程，每个MPI_process (root_MPI_process除外)运行在一个计算集群节点上。
• 然后，MPI_process标识GPU的数量，并要求从root_MPI_process获得适当数量的数据。
• 数据从root_MPI_process传递到MPI_process，然后在可用的GPU之间重新分配.上述步骤2、3、4

问题

( 1)从有经验的角度来看，除了数据传递(在1中比较容易，在2中更复杂)，从我的角度来看，我还应该考虑什么？

2)这个应用程序不能利用CUDA感知的MPI，因为数据不是在GPU之间传递的，对吗？( CUDA是否知道MPI对其他东西有用？)

3)解决方案2)提供具有单地址空间的通用寻址空间，但解决方案1)不提供，因为每个MPI_process访问1 GPU，对吗？

编辑

• 这是正在进行的研究，我不敢估计E2E的时间。作为参考，此任务需要大约。60时，在3xGTX 1070上，集群内有16倍特斯拉K80。我目前的计算时间是无限的。
• 每个线程的数据大约是blocks * threads * 1024 [B] 1 kB，因此1内核需要数据的kB，我想一次运行每个GPU一个内核。
• 核(每个块中的每个线程)以小神经网络(30神经元)评价的方式对二阶动态系统进行仿真(100 s/迭代中的乘法和加法次数)，在给出结果之前，大约有1,000,000个仿真迭代。

从上面我可以自信地说，对内核的评估比主机<->设备的数据传输更耗时。