Slurm:向多个节点提交时出错("slurmstepd: error: execve()：python: No此类文件或目录“)
我有一个bash脚本submit.sh，用于向Slurm服务器提交培训作业。它的工作原理如下。正在做什么
bash submit.sh p1 8 config_file将提交一些与config_file相对应的任务到分区p1的8个GPU。p1的每个节点都有4个GPU，因此该命令请求2个节点。
submit.sh的内容可以概括如下，其中我使用sbatch提交一个Slurm脚本(train.slurm)：
#!/bin/bash
# submit.sh
PARTITION=$1
NGPUs=$2
CONFIG=$3
NGPUS_PER_NODE=4
NCPUS_PER_TASK=10
sbatch --partition ${PARTITION} \
--job-name=${CONFIG} \
--output=logs/${CONFIG}_%j.log \
--ntasks=${NGPUs} \
--ntasks-per-node=${NGPUS_PER_NODE} \
--cpus-per-task=${NCPUS_PER_TASK} \
--gres=gpu:${NGPUS_PER_NODE} \
--hint=nomultithread \
--time=10:00:00
--export=CONFIG=${CONFIG},NGPUs=${NGPUs},NGPUS_PER_NODE=${NGPUS_PER_NODE} \
train.slurm现在，在Slurm脚本train.slurm中，我决定是在一个节点还是多个节点上启动训练Python脚本(在这两种情况下启动它的方式不同)：
#!/bin/bash
# train.slurm
#SBATCH --distribution=block:block
# Load Python environment
module purge
module load pytorch/py3/1.6.0
set -x
if [ ${NGPUs} -gt ${NGPUS_PER_NODE} ]; then # Multi-node training
# Some variables needed for the training script
export MASTER_PORT=12340
export WORLD_SIZE=${NGPUs}
# etc.
srun python train.py --cfg ${CONFIG}
else # Single-node training
python -u -m torch.distributed.launch --nproc_per_node=${NGPUS_PER_NODE} --use_env train.py --cfg ${CONFIG}
fi现在，如果我在一个节点上提交(例如，bash submit.sh p1 4 config_file)，它就会像预期的那样工作。但是，在多个节点(例如bash submit.sh p1 8 config_file)上提交会产生以下错误：
slurmstepd: error: execve(): python: No such file or directory这意味着在其中一个节点上无法识别Python环境。我尝试将python替换为$(which python)，以便在虚拟环境中获得Python二进制文件的完整路径，但随后获得了另一个错误：
OSError: libmpi_cxx.so.40: cannot open shared object file: No such file or directory如果我不使用submit.sh，而是将所有的#SBATCH变量添加到train.slurm中，然后直接从命令行使用sbatch提交作业，那么它就能工作了。因此，似乎是将封装在bash脚本中导致了这个问题。
你能帮我解决这个问题吗？
提前谢谢你。
回答 1
Stack Overflow用户
发布于 2021-02-02 13:38:23
请注意，--export参数将导致将srun的环境重置为所有SLURM_*变量以及显式设置的变量，因此在您的示例中，CONFIG、NGPUs、NGPUS_PER_NODE。因此，PATH变量不会被设置，srun也不会找到python可执行文件。
请注意，--export不会改变提交脚本的环境，因此不使用srun的单节点情况确实运行良好。
试着用
--export=ALL,CONFIG=${CONFIG},NGPUs=${NGPUs},NGPUS_PER_NODE=${NGPUS_PER_NODE} \注意添加的ALL作为列表中的第一项。
另一种选择是完全删除--export行并在submit.sh脚本中显式导出变量，因为Slurm默认将提交环境传播到作业。
export PARTITION=$1
export NGPUs=$2
export CONFIG=$3
export NGPUS_PER_NODE=4
export NCPUS_PER_TASK=10https://stackoverflow.com/questions/65960509
复制相似问题
腾讯云开发者
