如何使用SLURM遍历脚本？(sbatch和srun)
SLURM是一种开源的作业调度系统，用于管理和调度大规模的计算集群。它提供了一种方便的方式来提交、管理和监控作业，以及有效地利用计算资源。
要使用SLURM遍历脚本，可以使用sbatch和srun命令。sbatch命令用于提交作业脚本，而srun命令用于在计算节点上运行作业。
下面是使用SLURM遍历脚本的一般步骤：
- 编写作业脚本：首先，你需要编写一个包含遍历任务的作业脚本。这个脚本可以是任何可执行的脚本文件，比如Shell脚本或Python脚本。在脚本中，你可以定义需要遍历的参数和任务逻辑。
- 提交作业脚本：使用sbatch命令提交你的作业脚本。例如，可以运行以下命令提交一个名为"job_script.sh"的作业脚本：
- 提交作业脚本：使用sbatch命令提交你的作业脚本。例如，可以运行以下命令提交一个名为"job_script.sh"的作业脚本：
- 提交作业后，SLURM会为你的作业分配一个唯一的作业ID，并将其加入作业队列中等待执行。
- 监控作业状态：可以使用squeue命令来监控作业的状态。例如，可以运行以下命令查看当前正在运行的作业：
- 监控作业状态：可以使用squeue命令来监控作业的状态。例如，可以运行以下命令查看当前正在运行的作业：
- 该命令将显示你的作业以及它们的状态、运行时间等信息。
- 查看作业输出：一旦作业完成，你可以查看作业的输出。作业的输出通常会写入到一个或多个文件中，你可以在作业脚本中指定输出文件的路径。使用cat或less命令可以查看输出文件的内容。
这是一个基本的使用SLURM遍历脚本的流程。根据具体的需求，你可以在作业脚本中添加更多的逻辑和参数。SLURM还提供了许多其他功能和选项，如作业依赖性、资源限制、任务数组等，可以根据需要进行配置和使用。
腾讯云提供了自己的云计算产品，如腾讯云弹性计算（Elastic Compute）和腾讯云批量计算（Batch Compute），它们可以帮助用户轻松管理和调度计算资源。你可以在腾讯云官方网站上找到更多关于这些产品的详细信息和文档。
参考链接：
- SLURM官方网站：https://slurm.schedmd.com/
- 腾讯云弹性计算产品介绍：https://cloud.tencent.com/product/cvm
- 腾讯云批量计算产品介绍：https://cloud.tencent.com/product/bc
相关·内容
下面是三个不同的sbatch脚本，它们产生了大致相似的结果。
(我只显示脚本不同的部分；##前缀表示通过将脚本提交给sbatch获得的输出。)
脚本0
#SBATCH -n 4
srun -l hostname -s
## ==> slurm-7613732.out <==
## 0: node-73
## 1: node-73
## 2: node-73
## 3: node-73
脚本1
#SBATCH -n 1
#SBATCH -a 1-4
srun hostname -s
## ==> slurm-7613733_1.out <==
## node
浏览 4提问于2017-09-29得票数 1
回答已采纳
我有以下Bash脚本，用于将作业提交给集群上的：
#!/bin/bash
#SBATCH -A 1234
#SBATCH -t 2-00:00
#SBATCH -n 24
module add xxx
srun resp.com
#SBATCH行是SLURM命令：
#SBATCH -A 1234是项目编号(1234)。
#SBATCH -t 2-00:00是工作时间
#SBATCH -n 24是核的数目
module add xxx加载 xxx (在本例中，我实际上使用的是module add gaussian，其中gaussian是一个计算量子化学程序)。
srun是
浏览 3提问于2015-02-17得票数 0
我开始使用Slurm，我假设我传递给sbatch的提交脚本在控制器上运行，标记为srun的步骤将在计算节点上作为作业步骤运行。考虑下面的示例：
#!/bin/bash
#SBATCH --cpus-per-task 12
#SBATCH --gres=gpu:1
#SBATCH --job-name=hello
hostname
srun hostname
我希望看到的是我提交的机器的主机名，然后是为该作业分配的计算节点的名称。相反，整个脚本似乎都在计算节点上运行。我在日志中看到计算节点的主机名，然后它失败了，因为它在该节点上找不到srun：
/var/spool/slurm/d/job00
浏览 288提问于2019-05-24得票数 1
回答已采纳
1回答
我必须在HPC集群上执行一些测试，并且我使用Slurm作为工作负载管理器。由于我必须对不同的分配执行类似的测试，所以我决定利用Slurm的异构工作支持。这是我的Slurm脚本：
# begin of slurm_script.sh
#!/bin/bash
#SBATCH -p my_partition
#SBATCH --exclusive
#SBATCH --time 16:00:00 # format: HH:MM:SS
#SBATCH -N 1 # 1 node
#SBATCH --ntasks-per-node=32
浏览 25提问于2022-10-24得票数 0
1回答
我有一个sbatch脚本，用于通过不同的步骤将作业数组提交到Slurm：
#!/bin/bash
#SBATCH --ntasks 1
#SBATCH --nodes 1
#SBATCH --time 00-01:00:00
#SBATCH --array=0-15
dir="TEST_$SLURM_ARRAY_JOB_ID"
org=base-case
dst=$dir/case-$SLURM_ARRAY_TASK_ID
#step 0 -> I'd like that this step was executed only by one task!
sru
浏览 0提问于2020-05-06得票数 0
我试图与一个Slurm批处理脚本并行运行多个python脚本。请看下面的示例：
#!/bin/bash
#
#SBATCH --job-name=test
#SBATCH --output=/dev/null
#SBATCH --error=/dev/null
#SBATCH --ntasks=2
#SBATCH --cpus-per-task=1
#SBATCH --mem-per-cpu=1G
#SBATCH --partition=All
#SBATCH --time=5:00
srun sleep 60
srun sleep 60
wait
如何调整脚本，使执行只需60秒(而不是12
浏览 2提问于2021-03-25得票数 2
回答已采纳
我想使用命令spark-submit在slurm集群上使用srun和sbatch命令运行一个python脚本。当我运行当前脚本时，它将一直运行到结束，并且结束状态为已完成。但是，查看spark的历史服务器，我可以看到所有的作业ids都被命名为"local...“。当我检查环境变量时，"spark.master“总是设置为local*。我尝试了很多东西，阅读了很多文档，但我找不到如何使用多个工人。 下面是我的配置： #SBATCH --time=00:05:00
#SBATCH --nodes=4
#SBATCH --ntasks=4
#SBATCH --mem=4G
#SBA
浏览 11提问于2019-04-07得票数 1
回答已采纳
我仍然在探索如何使用Slurm调度程序，这一次我真的被困住了。以下批处理脚本不知何故不起作用：
#!/usr/bin/env bash
#SBATCH --job-name=parallel-plink
#SBATCH --mem=400GB
#SBATCH --ntasks=4
cd ~/RS1
for n in {1..4};
do
echo "Starting ${n}"
srun --input none --exclusive --ntasks=1 -c 1 --mem-per-cpu=100G plink --memory 100000 --bfile
浏览 10提问于2022-06-27得票数 0
回答已采纳
在我们的小型集群中新安装和配置的计算节点上，我无法使用批处理脚本和“sbatch”命令提交slurm作业。提交后，请求的节点将更改为“耗尽”状态。但是，我可以使用'srun‘交互地运行相同的命令。
作品：
srun -p debug --ntasks=1 --nodes=1 --job-name=test --nodelist=node6 -l echo 'test'
不起作用：
sbatch test.slurm
用test.slurm
#!/bin/sh
#SBATCH --job-name=test
#SBATCH --ntasks=1
#SBATCH --nod
浏览 0提问于2019-03-22得票数 1
回答已采纳
我是Slurm的新手，我也发现了有关这个话题的相关问题。然而，我仍然对如何使用srun的几点感到困惑。根据正式文档，srun通常首先分配资源，然后运行并行作业。例如，我想运行20个任务，如果我根据下面的脚本提交作业，我不确定创建了多少个任务。因为S批处理只负责分配资源，而不是执行程序。
#!/bin/sh
#SBATCH -n 20
#SBATCH --mpi=pmi2
#SBATCH -o myoutputfile.txt
module load mpi/mpich-x86_64
mpirun mpiprogram < inputfile.txt
如果我试图像下面这样运行顺序程序，我就
浏览 3提问于2020-10-13得票数 1
回答已采纳
我通过SLURM提供了一个大集群。我想在每个请求的节点上启动我的脚本，例如，在每个具有指定数量的核心的节点上启动./calc。例如，在2个节点上，每个节点16个核心。 我从sbatch脚本开始 #SBATCH -N 2
#SBATCH --ntasks-per-node=16
srun -N 1 ./calc 2 &
srun -N 1 ./clac 2 &
wait 然而，它并没有像预期的那样工作。我尝试了--ntask --nodes --cpus-per-task的许多配置，但都不起作用，我非常迷茫。 我也不明白SLURM中任务和CPU之间的区别
浏览 166提问于2021-04-30得票数 0
1回答
我正在Raspberry Pi 4的集群上设置Slurm，成功地在我的24 RPi集群上配置和使用Slurm，并允许每个RPi执行4个MPI任务。因此，如果我对所有节点(-N 24)和所有核心(-n 96)进行MPI运行(或者使用"srun“或”s批处理“(和批处理脚本))，它就会像我所期望的那样工作。
一个典型的"slurm.conf“行用于RPi节点的例子是：
NodeName=foo-001 CPUs=4 Sockets=1 CoresPerSocket=4 ThreadsPerCore=1 State=UNKNOWN
此表单有24个节点项。整个分区条目是：
Partit
浏览 11提问于2022-02-24得票数 1
1回答
我对聚类计算很陌生，我想在python上重复一个经验实验100次。对于每个实验，我需要生成一组数据并解决一个优化问题，然后求出平均值。为了节省时间，我希望并行进行。例如，假设我可以使用20个核心，我只需要在每个核心上重复5次。
下面是一个test.slurm脚本的示例，用于在单个核心上运行test.py脚本：
#!/bin/bash
#SBATCH --job-name=test
#SBATCH --nodes=1
#SBATCH --ntasks=1
#SBATCH --cpus-per-task=1
#S
浏览 7提问于2022-03-04得票数 1
1回答
我想在HPC上使用Slurm调度程序并行一个R脚本。
SLURM配置为SelectType: CR_Core_Memory。
每个计算节点有16个核心(32个线程)。
我将R脚本传递给Slurm，配置如下，使用作为SLURM的接口。
#!/bin/sh
#SBATCH --job-name={{ job_name }}
#SBATCH --partition=normal
#SBATCH --output={{ log_file | /dev/null }} # you can add .%a for array index
#SBATCH --error={{ log_file | /dev
浏览 0提问于2019-02-27得票数 3
回答已采纳
我需要使用sbatch / slurm运行python脚本，脚本工作到必须使用ptemcee的步骤(即运行monte马尔可夫链)。在这个步骤中，什么都不会发生(就像脚本落入无限循环中一样)。我知道脚本中没有错误，因为当我从slurm中运行它时，它工作正常。有人知道我应该如何在S批/ slurm中运行ptemcee (或emcee)？
#!/usr/bin/env bash
#SBATCH -J Exemplo # Nome do job
#SBATCH --cpus-per-task=15
#SBATCH --ntasks 1 # Numero tot
浏览 5提问于2021-11-21得票数 0
我有一个在SLURM集群上运行的多个输入文件的python脚本：
#!/bin/bash
#SBATCH -p standard
#SBATCH -A overall
#SBATCH --time=12:00:00
#SBATCH --output=normalize_%A.out
#SBATCH --error=normalize_%A.err
#SBATCH --nodes=1
#SBATCH --ntasks=1
#SBATCH --cpus-per-task=20
#SBATCH --mem=240000
HDF5_DIR=...
OUTPUT_DIR=...
NORM_SCRI
浏览 10提问于2018-09-08得票数 1
回答已采纳
1回答
我想通过提交一个独特的作业，使用SLURM对作业数组执行类似的(并行)运行。当一个任务完成时，我想启动第二次运行，它接收第一个任务生成的文件。有可能吗？我举了个例子。 我想用$SLURM_ARRAY_TASK_ID=0,1,2运行3个并行任务。当单个任务完成时，例如srun ./my_program1.exe 0完成后，我想启动srun ./my_program2.exe 0 < input_from_myprogram1_taskid=0，即使srun ./my_program1.exe 1仍在运行(每个任务的执行时间可能略有不同)。它安全吗?它有意义吗？ #!/bin/bash
#
浏览 132提问于2021-10-11得票数 0
目标：
了解如何使用批处理作业提交来运行或协同调度或执行可执行文件/应用程序。
使用srun或mpirun
研究：
代码片段：
#!/bin/bash
#SBATCH --job-name LEBT
#SBATCH --partition=angel
#SBATCH --nodelist=node38
#SBATCH --sockets-per-node=1
#SBATCH --cores-per-socket=1
#SBATCH --time 00:10:00
#SBATCH --output LEBT.out
# the slurm module p
浏览 6提问于2016-11-03得票数 3
回答已采纳
我有一个很大的任务，我想把它分成几个部分，并使用slurm并行运行。具体来说，我想将工作分成更多的部分，而不是在我的系统上用我想要分配的资源同时运行。我想到的基本成语是调用sbatch，将工作划分为k (大于某些并发任务的最大N数)部分，并有slurm队列任务，直到有可用的资源来运行它们。具体来说，假设我有一个文件，其中每一行代表要完成的一段工作，我想把这些工作分成1000个部分，运行一些单线程脚本来处理集群中的每个部分，总共有128个cpus。我当前的S批处理脚本如下所示：
#!/bin/bash
#SBATCH --cpus-per-task=1
#SBATCH --ntasks=128
浏览 1提问于2022-02-17得票数 1
回答已采纳
1回答
因此，我有以下提交脚本：
#!/bin/bash
#
#SBATCH --job-name=P6
#SBATCH --output=P6.txt
#SBATCH --partition=workq
#SBATCH --ntasks=512
#SBATCH --time=18:00:00
#SBATCH --mem-per-cpu=2500
#SBATCH --cpus-per-task=1
#SBATCH --array=1-512
srun ./P6 $SLURM_ARRAY_TASK_ID
我想要做的是运行程序P6的512个实例，参数为1到512，据我所知，上面的提交就是这样做的。然而，
浏览 3提问于2018-08-28得票数 1
回答已采纳
Problem：在这个的启发下，我尝试编写一个包装器脚本来提交带bash变量的SLURM数组作业。但是，我遇到了像$SLURM_ARRAY_TASK_ID这样的SLURM环境变量的问题，因为它是一个空变量。
我怀疑这与test_wrapper.sh如何解析尚未定义的SLURM变量有关，但我似乎找不到解决方案。
下面我提供了一个简单python脚本的工作示例，该脚本应该以数组ID作为输入变量，但是当bash包装脚本调用它时，python脚本会在接收到空变量时崩溃。
test_wrapper.sh：
#!/bin/bash
for argument in "$@"
do
key
浏览 45提问于2022-09-16得票数 0
回答已采纳
我使用SLURM运行一个作业数组，并使用下面的作业数组脚本(我是用sbatch job_array_script.sh [args]运行的)
#!/bin/bash
#SBATCH ... other options ...
#SBATCH --array=0-1000%200
srun ./job_slurm_script.py $1 $2 $3 $4
echo 'open' > status_file.txt
为了解释，我希望job_slurm_script.py作为数组作业运行1000次，最多并行200个任务。当所有的都完成时，我想写“打开”给status_
浏览 3提问于2017-09-26得票数 8
回答已采纳
我正在尝试运行一个python脚本，其中一部分代码将根据SLURM环境变量被并行化。我不认为确切的代码是重要的，但作为参考，我想通过来训练我的网络。
现在，问题是我需要通过srun运行我的脚本，但是这会产生我不想要的脚本的多个并行实例。
最基本的例子是：
#!/bin/sh
#SBATCH -N 2
#SBATCH --ntasks=2
srun python myscript.py
现在我将有2个节点和2个任务，这意味着当我运行python myscript.py时，将有2个myscript.py实例并行运行。
然而，这不是我想要的。我希望只有一个运行myscript.py的实例，但是它应
浏览 2提问于2020-05-19得票数 2
回答已采纳
0回答
我第一次在我的计算中使用集群，因此第一次使用SLURM脚本。
我正在迭代我正在使用的python代码，遍历一个数字列表。我以前在自己的机器上用bash脚本中的一个简单的while循环完成了这项工作。
我认为这将相当直接地转换为SLURM脚本。然而，在执行时，只读取和执行列表的第一个数字，之后执行停止。因此，剩下的~200个数字将被忽略。你知道是什么导致了这一切吗？
下面是SLURM脚本，供参考：
#!/bin/bash -l
#SBATCH -o ./job.out.%j
#SBATCH -e ./job.err.%j
#SBATCH -D ./
#SBATCH -J NAME
#SBATC
浏览 6提问于2017-12-14得票数 1
我正在尝试使用批处理脚本启动大量作业步骤。不同的步骤可以是完全不同的程序，而且每个程序需要一个CPU。首先，我尝试使用--multi-prog参数对srun执行此操作。不幸的是，当以这种方式使用分配给我工作的所有CPU时，性能会大大降低。运行时几乎增加到它的序列化值。通过低认购，我可以稍微改善这一点。我在网上找不到关于这个问题的任何信息，所以我假设它是我正在使用的集群的配置问题。
所以我试着走另一条路。我实现了以下脚本(通过sbatch my_script.slurm启动)：
#!/bin/bash
#SBATCH -o $HOME/slurm/slurm_out/%j.%N.out
#SBA
浏览 0提问于2014-06-05得票数 13
回答已采纳
我对HPC和SLURM特别陌生。下面是我用来运行python脚本的示例代码：
#!/bin/bash
# Slurm submission script, serial job
#SBATCH --time 48:00:00
#SBATCH --mem 0
#SBATCH --mail-type ALL
#SBATCH --partition gpu_v100
#SBATCH --gres gpu:4
#SBATCH --nodes 4
#SBATCH --ntasks-per-node=4
#SBATCH --output R-%x.%j.out
#SBATCH --error R-
浏览 5提问于2021-04-11得票数 2
回答已采纳
我正在尝试在SLURM管理的集群中启动多个任务，并希望避免处理数十个文件。现在，我有50个任务(下标为i，为了简单起见，i也是我程序的输入参数)，每个任务都有一个指示计算配置的bash文件slurm_run_i.sh，以及srun命令： #!/bin/bash
#SBATCH --ntasks=1
#SBATCH --cpus-per-task=1
#SBATCH -J pltCV
#SBATCH --mem=30G
srun python plotConvergence.py i 然后，我使用另一个bash文件slurm_run_all.sh提交所有这些任务 #!/bin/bash
f
浏览 38提问于2020-04-16得票数 1
回答已采纳
我有以下名为gzip2zipslurm.sh的SLURM作业脚本
#!/bin/bash
#SBATCH --mem 70G
#SBATCH --ntasks 4
echo "Task 1"
srun -n1 java -Xmx10g -jar tar2zip-1.0.0-jar-with-dependencies.jar articles.A-B.xml.tar.gz &
echo "Task 2"
srun -n1 java -Xmx10g -jar tar2zip-1.0.0-jar-with-dependencies.jar articles.
浏览 1提问于2018-09-20得票数 1
回答已采纳
我正在使用下面的.sh脚本，它是我使用sbatch提交的。Pairwise_3_P_a.do和Pairwise_3_P_c.do是应该只运行一次的线性步骤，但是Pairwise_3_P_b.do使用一个数组。我在阵列完成之前运行Pairwise_3_P_c.do时遇到了问题。 有没有办法使用--wait或wait bash命令修复这个脚本？我需要使用srun吗?答案是：How to hold up a script until a slurm job (start with srun) is completely finished?？我不完全理解如何实现wait和文档中提到的wait和--w
浏览 20提问于2020-10-27得票数 1
回答已采纳
如何在下面更改slurm脚本，以便每个python作业都得到一个唯一的GPU？这个节点有4个GPU，我想每个GPU运行一个python作业。问题是所有作业都使用第一个GPU，其他GPU是空闲的。
#!/bin/bash
#SBATCH --qos=maxjobs
#SBATCH -N 1
#SBATCH --exclusive
for i in `seq 0 3`; do
cd ${i}
srun python gpu_code.py &
cd ..
done
wait
浏览 12提问于2022-01-04得票数 0
我最近在看关于mpirun vs mpiexec和关于srun vs sbatch，但是我想知道mpirun和slurm和srun有什么关系。
通常在我看到的示例中，发送到sbatch的文件中包含srun <program>来执行MPI程序，但我有时也会看到使用mpirun或mpiexec的文件。然而，我不明白为什么有人会这样做。如中所示，似乎使用mpirun或mpiexec可能会产生各种类型的(依赖于实现？)错误，没有理由不使用srun。
这是准确的吗?或者，在slurm管理的集群上执行程序时，您希望使用mpirun或mpiexec而不是srun，这是有充分理由的吗？
浏览 7提问于2018-07-12得票数 2
1回答
我完全不知道用SLURM把工作提交给一个高性能计算机，我正面临着一个我无法解决的特殊问题。
我有一个job.slurm文件，其中包含以下bash脚本
#!/bin/bash
#SBATCH --job-name singularity-mpi
#SBATCH -N 1 # total number of nodes
#SBATCH --time=00:05:00 # Max execution time
#SBATCH --partition=partition-name
#SBATCH --output=/home/users/r/usrname/slurm-reports/slurm-%j
浏览 6提问于2022-07-03得票数 0
1回答
在集群上运行openmp
、、、
我必须在具有不同配置(例如不同节点数)的集群上运行openmp程序。但是，我面临的问题是，每当我试图用两个节点运行程序时，同一段程序就会运行两次，而不是并行运行。
我的节目-
gettimeofday(&t0, NULL);
for (k=0; k<size; k++) {
#pragma omp parallel for shared(A)
for (i=k+1; i<size; i++) {
//parallel code
}
#pragma omp barrier
for (i=k+1; i<size; i
浏览 1提问于2013-10-13得票数 3
我正在尝试弄清楚“任务”的概念在SLURM中是什么意思。我已经找到了this answer on SO，它建议我使用以下工作脚本： #!/bin/bash
#SBATCH --ntasks=2
srun --ntasks=1 sleep 10 &
srun --ntasks=1 sleep 12 &
wait 作者说，这个作业总共为他运行了12秒，因为sleep 10和sleep 12这两个步骤是并行运行的，但我不能重现这一点。 如果我将上面的文件保存为slurm-test并运行 sbatch -o slurm.out slurm-test, 我看到我的作业运行了23秒
浏览 177提问于2021-06-30得票数 2
回答已采纳
1回答
我很难理解SLURM从sbatch脚本开始工作的方式。看起来SLURM忽略了--ntasks参数，并立即启动了批处理文件中的所有srun任务。下面是一个示例，使用对在StackOverflow上的代码进行的轻微修改：
$ salloc --ntasks=1 --ntasks-per-core=1
salloc: Granted job allocation 1172
$ srun -n 1 sleep 10 & time srun -n 1 echo ok
[1] 5023
srun: cluster configuration lacks support for cpu bindin
浏览 5提问于2015-01-13得票数 1
回答已采纳
我正在运行一个非常常见的生物信息工具/命令bowtie2-build。它可以在单个节点上使用多线程(而不是MPI类型的作业)。我有以下脚本(基本上)：
#!/bin/bash
#SBATCH --nodes=1
#SBATCH --ntasks-per-node=1
#SBATCH --cpus-per-task=6
#SBATCH --mem=15G
#SBATCH --time=3:00:00
bowtie2-build --threads $SLURM_CPUS_ON_NODE GRCh38.fa GRCh38
我在某个地方读到，每当请求一个以上的CPU时，必须使用srun，以便上面
浏览 0提问于2018-11-30得票数 1
回答已采纳
我有几个节点的SLURM集群，每个节点有16个vcpu。我尝试运行以下代码： #SBATCH --nodes 2
#SBATCH --ntasks 2
#SBATCH -c 16
srun --exclusive --nodes=1 program1 &
srun --exclusive --nodes=1 program2 &
wait program1和program2分别需要16cpu，我希望分配2个32核的节点，在第一个节点上运行program1，在第二个节点上运行program2，但我得到了以下错误消息： srun: error: Unable to create
浏览 310提问于2020-07-24得票数 0
回答已采纳
我正在一个(非常)非均匀SLURM集群(版本2.6.6-2)上运行一些批串行程序，使用来执行发行版。我遇到的问题是，一些节点比其他节点完成任务的速度要快得多，最后出现了这样的情况，比如，一个分配4个节点的任务，但在半个模拟过程中只使用了1个节点。
在没有管理员权限的情况下，有没有办法释放这些未使用的节点之一？我可以通过在单个节点上运行4个作业，或者使用包含同构节点列表的文件来缓解这一问题，但这还远远不够理想。
作为参考，下面是我正在使用的脚本文件(改编自)
job.sh
#!/bin/sh
#SBATCH --job-name=test
#SBATCH --time=96:00:00
#SB
浏览 0提问于2014-07-24得票数 2
回答已采纳
1回答
我刚接触SLURM。我想并行处理一个文件列表assembled_reads/*.sorted.bam。然而，在下面的代码中，只有一个进程被反复使用。
#!/bin/bash
#
#SBATCH --job-name=****
#SBATCH --ntasks=1
#SBATCH --cpus-per-task=24
#SBATCH --partition=short
#SBATCH --time=12:00:00
#SBATCH --array=1-100
#SBATCH --mem-per-cpu=16000
#SBATCH --mail-type=FAIL
#SBATCH --mail-u
浏览 8提问于2017-08-09得票数 4
回答已采纳
slurm-wlm 17.11.2
从Ubuntu Apt repos安装，Ubuntu:18.04
我们有一个由20个相同节点组成的集群。运行下面的简单脚本会给我带来一个令人困惑的问题。所有作业都认为它们在node3上运行，而运行hostname命令则给出了准确的答案。这也是输出文件名的一个问题。我希望有许多不同的输出，但我只得到一个，与'node3‘在文件名。这似乎是一个Bash ()/变量替换错误。包皮
SLURMD_NODENAME
在一个
bash -c "echo Bash3: \$SLURMD_NODENAME"
很管用。但我为什么要这么做
浏览 0提问于2018-07-13得票数 0
1回答
我在努力优化我正在做的研究。目前，我不得不编写我称之为step1和step2的脚本。在step1中
#!/bin/bash
#SBATCH --output=slurm-%j.out
#SBATCH --nodes=16
#SBATCH --ntasks-per-node=28
#SBATCH --time=24:00:00
module load <everything I need>
echo "Start of program at `date`"
srun $HOME/project/bin/my_executable1 ../data/my_d
浏览 5提问于2022-02-10得票数 0
回答已采纳
当尝试在集群上使用MPI时，我遇到了一个奇怪的问题，它使用Slurm作为作业调度程序。在这两种情况下，我都试图运行这个简单的python程序：
from mpi4py import MPI
print('TEST')
创建一个批处理脚本(在其中，我导出合适的虚拟环境并运行这个python程序)并将它与sbatch一起使用非常有用。
但是，使用终端中的srun运行相同的程序(在同一个虚拟环境中)会产生以下错误：
*** An error occurred in MPI_Init_thread
*** on a NULL communicator
*** MPI_ERRORS_AR
浏览 22提问于2022-02-07得票数 1
回答已采纳
我已经在2节点集群上安装了Slurm。两个节点都是计算节点，其中一个也是控制器。我能够一次成功地运行多个作业的srun。我正在运行GPU作业，并已确认可以使用srun在多个GPU上运行多个作业，最多可达系统中的GPU数量。 但是，当我尝试使用相同的测试文件运行sbatch时，它将只运行一个批处理作业，并且只在同时也是控制器的计算节点上运行。其他失败，sacct摘要中的ExitCode为1:0。如果我尝试强制它在不是控制器的计算节点上运行，它将不会运行，并显示1:0退出代码。但是，只需使用srun就可以在任何计算节点上运行。 我已经确保/etc/slurm/slurm.conf文件与机器的规格
浏览 79提问于2019-02-14得票数 0
在Slurm.管理的gpu集群上提交作业
我正在做一些实验，正如你所知道的，我们必须调整参数，这意味着我需要使用不同的超级参数运行几个类似的脚本。因此，我编写了多个bash脚本(例如，名为training_n.sh)来执行，在每个脚本中，如下所示：
# training_n.sh
srun [command with specific model/training hyperparameters]
然后我使用sbatch执行这些脚本，在sbatch脚本中如下所示：
# sbatch script
bash training_1.sh
bash training_2.sh
...
b
浏览 2提问于2021-11-13得票数 0
2回答
假设我有10个.R脚本(或任务)，我希望使用一个HPC集群同时运行这些脚本。
HPC集群使用slurm作为批处理/排队系统，我知道要运行多个任务，应该使用命令srun。
但是，我没有运行多个任务与高性能HPC并行的经验，所以我希望您能帮助我建立一个简单的job.sh脚本，通过slurm提交给HPC。
下面是一个用于运行单个job.sh脚本的.R脚本的示例：
#!/bin/bash
#SBATCH --job-name=test
#SBATCH --partition=part_x
#SBATCH --nodelist=node888
#SBATCH --ntasks=1
#SBATCH --c
浏览 30提问于2019-12-17得票数 2
我想提交一个sbatch脚本。主要部分是训练一个深度学习模型，但我也想同时运行tensorboard来记录日志。 现在我有了我的script.slurm #!/bin/bash -l
#SBATCH -N 1
#SBATCH --ntasks-per-node=6
#SBATCH --mem-per-cpu=5GB
#SBATCH --gres=gpu:1
tensorboard --logdir:runs
python3 trainloop.py 只有在我关闭tensorboard服务器之后，它才会启动tensorboard并运行脚本。我把它改成了 srun tensorboard --
浏览 35提问于2021-11-14得票数 1
回答已采纳
我使用sbatch脚本在slurm中运行了一个mpi作业，如下所示：
# request 384 processors across 16 nodes for exclusive use:
#SBATCH --exclusive
#SBATCH --ntasks-per-node=24
#SBATCH -n 384
#SBATCH -N 16
#SBATCH --time 3-00:00:00
mpirun myprog
我想监控"myprog“进程的内存/cpu使用情况和其他一些行为。我已经写了一个简单的脚本(称为"monitor")，可以做到这一点，但我在如何使用s
浏览 0提问于2015-09-24得票数 3
1回答
背景：
jupyter.shThere --我需要在全国各地远程访问一台高性能电脑(place向公众开放，我正在夏季实习)--一旦我完成了这个任务，我就加载了一个脚本，为此，我们把它称为HPC中的几个节点，每当我运行.sh脚本时，我就被分配到一个，比如浏览器上的N123，我必须使用python运行实际的代码/计算/模拟。我所处理的数据需要大约2个小时才能完全运行，这样我就可以处理它并完成我的工作----通常，我会被断开与节点N123的连接，因为“用户没有正在运行的活动作业”，即使我的jupyter笔记本仍在运行/我正在处理--这导致我不得不再次运行.sh脚本，这意味着我将得到一个不同的节点，比
浏览 1提问于2021-06-30得票数 0
1回答
slurm中的优美信号处理
、、、、
我有一个问题，优雅地退出我的乏味的工作，保存数据，等等。
我的程序中有一个信号处理程序，它设置了一个标志，然后在主循环中查询该标志，并在后面进行数据保存。一般计划是这样的：
#include <utility>
#include <atomic>
#include <fstream>
#include <unistd.h>
namespace {
std::atomic<bool> sigint_received = false;
}
void sigint_handler(int) {
sigint_receiv
浏览 2提问于2021-07-01得票数 0
我试图在超级计算机上以集群模式运行ArangoDB .它在登录节点上运行。我遵循以下说明：
然而，为了正确地使用Cray集群，我需要将它作为批处理作业(Slurm / sbatch)提交。我在运行它时有问题，因为"arangod“会沉默，也就是说它的命令行输出不会在slurm-log文件中结束。
我试图使用以下链接更改日志设置：，如果我将日志输入到"info“，那么我将一无所获。如果我用这样的“跟踪”：
build/bin/arangod --server.endpoint tcp://0.0.0.0:5003 --agency.my-address tcp://148.187
浏览 1提问于2018-06-19得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM活动推荐
腾讯云开发者
