问并行但不同的Slurm运行作业步骤调用无效

EN

结果是没有定义每个cpu的默认内存，因此即使是单个核心作业也是通过保留节点的所有RAM来运行的。

设置DefMemPerCPU，或指定显式内存保留，都是其中的诀窍。

请注意，在这种情况下，您可以同时测量运行时间和等待时间。您的提交脚本应该如下所示：

#!/usr/bin/env bash

time {
srun --exclusive --ntasks 1 -c 1 sleep 1 &
srun --exclusive --ntasks 1 -c 1 sleep 1 &
srun --exclusive --ntasks 1 -c 1 sleep 1 &
srun --exclusive --ntasks 1 -c 1 sleep 1 &
wait
}

简单地提交给

salloc -n 1 test
salloc -n 2 test
salloc -n 4 test

然后，您应该观察到差异，以及使用srun: Job step creation temporarily disabled, retrying时的消息(如n<4 )。

由于OP解决了他的问题，但没有提供代码，我将在下面分享我对这个问题的看法。

在我的例子中，我遇到了错误/警告step creation temporarily disabled, retrying (Requested nodes are busy)。这是因为，首先执行的srun命令分配了所有内存。与OP所遇到的原因相同。要解决这个问题，首先可以选择(？)指定sbatch的总内存分配(如果您使用的是sbatch脚本)：

#SBATCH --ntasks=4
#SBATCH --mem=[XXXX]MB

然后为每个任务指定内存使用情况：

srun --exclusive --ntasks=1 --mem-per-cpu [XXXX/4]MB sleep 1 &
srun --exclusive --ntasks=1 --mem-per-cpu [XXXX/4]MB sleep 1 &
srun --exclusive --ntasks=1 --mem-per-cpu [XXXX/4]MB sleep 1 &
srun --exclusive --ntasks=1 --mem-per-cpu [XXXX/4]MB sleep 1 &
wait

我没有为srun指定CPU计数，因为在我的sbatch脚本中包含了#SBATCH --cpus-per-task=1。出于同样的原因，我怀疑您可以在--mem命令中使用--mem-per-cpu而不是--mem-per-cpu，但是我还没有测试这个配置。