linux mpi 配置

一、基础概念

MPI（Message Passing Interface）是一种消息传递编程接口标准，用于并行计算环境中的多进程通信。在Linux系统下配置MPI，可以让多个进程在不同的计算节点或者同一节点的不同核心上协同工作来执行并行计算任务。

二、相关优势

可移植性
- MPI遵循标准接口，使得编写的并行程序可以在不同的并行计算系统上运行，只要这些系统支持MPI。

高效通信
- 提供了多种消息传递方式，如点对点通信（如MPI_Send和MPI_Recv）和集合通信（如MPI_Bcast用于广播消息），能够高效地在进程间传递数据。
易于并行编程模型
- 开发者可以专注于算法的并行化逻辑，而不必过多关心底层的进程管理和通信细节。

三、类型（主要从实现角度）

开源MPI实现
- OpenMPI：是一个广泛使用的开源MPI实现。它具有高度的可定制性和性能优化能力。
- MPICH：也是一个著名的开源MPI实现，在学术研究和工业界都有应用。

四、应用场景

科学计算
- 在计算流体力学（CFD）、分子动力学模拟等领域，通过将计算任务分解到多个进程并行计算，可以大大缩短计算时间。

大数据分析
- 对于大规模数据的处理，如数据挖掘中的聚类算法等，可以利用MPI并行处理数据的不同部分。

五、配置步骤（以OpenMPI为例）

安装依赖库
- 在大多数Linux发行版中，需要先安装一些依赖库，如gcc编译器套件等。可以使用包管理器安装，例如在Ubuntu系统中：
  - sudo apt - get update
  - sudo apt - get install build - essential

下载OpenMPI源代码或安装包
- 可以从OpenMPI官方网站下载源代码进行编译安装，也可以使用包管理器安装预编译版本。如果使用包管理器安装（以Ubuntu为例）：
  - sudo apt - get install openmpi - bin openmpi - common libopenmpi - dev
编写MPI测试程序
- 例如创建一个名为hello_mpi.c的文件，内容如下：

#include <mpi.h>
#include <stdio.h>

int main(int argc, char** argv) {
    MPI_Init(&argc, &argv);
    int world_size;
    MPI_Comm_size(MPI_COMM_WORLD, &world_size);
    int world_rank;
    MPI_Comm_rank(MPI_COMM_WORLD, &world_rank);
    char processor_name[MPI_MAX_PROCESSOR_NAME];
    int name_len;
    MPI_Get_processor_name(processor_name, &name_len);
    printf("Hello world from processor %s, rank %d out of %d processors
", processor_name, world_rank, world_size);
    MPI_Finalize();
    return 0;
}

编译MPI程序
- 使用mpicc编译器（OpenMPI提供的编译器包装器）来编译上述程序：
  - mpicc -o hello_mpi hello_mpi.c

运行MPI程序
- 可以使用mpirun命令来运行编译后的MPI程序。例如，在本地单节点多核上运行：
  - mpirun -np 4 ./hello_mpi，这里-np 4表示启动4个进程。

六、可能遇到的问题及解决方法

通信失败
- 原因：
  - 网络配置问题，特别是在多节点环境下，如果防火墙阻止了MPI进程间的通信端口。
  - 进程启动参数设置错误，导致进程无法正确找到彼此。
- 解决方法：
  - 在多节点环境下，检查防火墙设置，确保MPI通信所需的端口开放。例如，在Linux系统中可以使用iptables命令来配置防火墙规则。
  - 仔细检查mpirun命令中的参数，如节点列表（如果有）、进程数量等。

性能不佳
- 原因：
  - 进程间通信开销过大，可能是由于数据传输量过大或者通信模式不合理。
  - 负载不均衡，部分进程完成任务早而处于空闲状态，而其他进程还在忙碌。
- 解决方法：
  - 优化通信模式，例如尽量减少不必要的点对点通信，采用集合通信来批量传输数据。
  - 合理划分计算任务，确保各个进程的计算量和负载大致相同。可以通过动态任务分配等方式来实现。