使用Python提交Slurm作业
Slurm是一种开源的作业调度系统，用于管理和调度大规模计算集群中的作业。它是一个高度可扩展的系统，可以有效地管理资源，并提供高性能的计算环境。
使用Python提交Slurm作业可以通过Slurm的命令行接口或者Slurm的API来实现。下面是一个基本的示例：
import subprocess
def submit_slurm_job(script_path, job_name, num_nodes, num_tasks_per_node, output_file):
command = f"sbatch --job-name={job_name} --nodes={num_nodes} --ntasks-per-node={num_tasks_per_node} --output={output_file} {script_path}"
subprocess.run(command, shell=True)
# 提交一个名为"my_job"的Slurm作业，使用2个节点，每个节点4个任务，输出结果到"output.txt"
submit_slurm_job("my_script.sh", "my_job", 2, 4, "output.txt")在上面的示例中，我们使用subprocess模块来运行Slurm的sbatch命令，通过命令行参数指定作业的名称、节点数量、每个节点的任务数量以及输出文件。script_path参数是要提交的作业脚本的路径。
这是一个简单的示例，实际使用中可能需要根据具体需求进行更多的参数配置和错误处理。另外，腾讯云提供了一些与Slurm相关的产品和服务，例如弹性裸金属服务器（Elastic Bare Metal Server）和高性能计算（HPC）集群，可以根据具体需求选择适合的产品。
参考链接：
- Slurm官方网站：https://slurm.schedmd.com/
- 腾讯云弹性裸金属服务器：https://cloud.tencent.com/product/cbm
- 腾讯云高性能计算（HPC）集群：https://cloud.tencent.com/product/hpc
相关·内容
2回答
使用Python子进程运行SLURM脚本以将多个长作业提交到队列，并在继续执行Python脚本之前等待作业完成
python、queue、subprocess、wait、slurm
这种情况的基本情况是，我使用Python的subprocess模块运行SLURM脚本，该脚本将大量作业提交到我使用的一些高性能计算资源上的队列。我希望Python脚本等待所有提交的作业完成。我试着这样做：proc.wait()
但是，它只等待作业提交
浏览 1提问于2017-04-28得票数 2
1回答
我是否需要为SLURM中的每个任务使用一个bash文件？
bash、slurm、sbatch
我正在尝试在SLURM管理的集群中启动多个任务，并希望避免处理数十个文件。plotConvergence.py i 然后，我使用另一个bash文件slurm_run_all.sh提交所有这些任务 #!/bin/bash sbatch slurm_run_$i.sh
done 这是可行的(集群上正在运行50个作业)，但是我发现输入文件超过50个是很麻烦的。但是，我不能单独管理这些作业：squeue的输出显示我有
浏览 38提问于2020-04-16得票数 1
回答已采纳
1回答
如何使用Slurm/Sbatch提交/运行多个并行作业？
python、shell、slurm、sbatch
我正在尝试向Slurm服务器提交大量作业(数百个)，并希望避免为我想要运行的每个作业提交新的shell脚本。提交的代码是一个Python脚本，它接受shell脚本中的两个输入变量，并且这些变量是在不同作业之间唯一变化的变量。以下是适用于单个作业的简短shell脚本的示例： #!/bin/bash
#SBATCH -t 01:00:00
srun python retr
浏览 1898提问于2021-04-02得票数 0
1回答
在带有SLURM的HPC系统上使用GNU并行运行多个python文件实例和两个输入文件
python、hpc、slurm、gnu-parallel
我试图在一个HPC-系统上并行运行一个python文件240次(因为每个单独的文件运行大约需要9分钟)。理想情况下，每个python文件都应该运行在单个核心上。每个节点有24个核心。python文件接受两个输入文件，每组一个：parallel="parallel --delay .2 \
-j $SLURM_NTASKS
浏览 2提问于2020-05-05得票数 1
1回答
用于请求时间的Slurm环境变量
slurm
对于slurm作业，环境变量$SLURM_JOB_NUM_NODES提供请求的节点数。#SBATCH --time=1:00:00#SBATCH --nodes=2
python</em
浏览 7提问于2022-01-28得票数 2
回答已采纳
1回答
如何将SLURM作为输入参数传递给python？
deep-learning、python-3.6、slurm
我是用SLURM训练一批卷积神经网络的新手。为了跟踪所有训练好的CNN，我想把SLURM jobID作为输入参数传递给python。将其他变量作为参数传递很好。但是，我无法访问SLURM作业人员的身份。以下是我的最新代码：PYTHONPATH=&
浏览 1提问于2019-08-10得票数 2
回答已采纳
1回答
在调用slurm sbatch之前为日志文件创建目录
bash、slurm
每次手动创建这些目录都是效率低下的，因为我正在运行每一批处理提交数十次。让作业名称的变化存在于文件名中，而不是目录中，这会造成大量的、组织不良的日志，当我需要检查我的作业做得如何时，我必须对其进行排序。python ./my_script.py $1 ${SLURM_ARRAY_TASK_ID}拥有这样一个脚本是可行的，但是看起来非常浪费:我已经将我的sbatch提交脚本的长度增加了一倍多，这只是为了组织我的日志文件此外，其中大部分是添加的代码，这些代码在其他作
浏览 0提问于2019-01-25得票数 9
1回答
在使用sbatch file.slurm提交slurm作业后，您将获得一个作业ID。您可以使用squeue和sacct来检查作业的状态。但都不会返回作业的原始提交命令(sbatch file.slurm)。是否有一个命令可以显示提交命令，即sbatch file.slurm？我需要将作业I与我的提交命令链接起来。
浏览 8提问于2020-03-05得票数 0
1回答
为什么我不能在SLURM中模拟运行同一python脚本的多个实例
python、google-cloud-platform、google-compute-engine、slurm
我可以使用以下命令在登录节点上运行此脚本此外，我可以提交一个脚本submit.sh来运行该作业：found!python3.6 my_script.py input_$SLURM
浏览 2提问于2018-10-24得票数 0
1回答
我试图设置SLURM，使SLURM接受在某个目录中提交的作业，否则拒绝该作业。要激活prolog脚本，我已经将slurm.conf设置为：/etc/slurm/prolog/bin/bash
if [[ $PWD = /home/sl
浏览 0提问于2019-05-04得票数 1
回答已采纳
1回答
Cgroup和Slurm
slurm、cgroups
我知道如何使用cgroups(分配内存、cpu使用率...)和slurm(提交、挂起/停止作业)。我想知道cgroups是如何使用slurm的。当我向slurm提交作业时，我可以在哪里修复内存或CPU使用率？我阅读了Slurm Schedmd()的文档，但它没有给出很好的解释。也许这是对我的误解。谁能解释一下如何使用slurm中的cgr
浏览 4提问于2017-05-22得票数 3
2回答
SLURM:保存作业脚本
slurm、sbatch
在SLURM中，我可以很容易地指定用于在作业脚本中登录的文件：#SBATCH --error=logs/error-%j我怎么能做到这一点？(主要的困难似乎是获取%j)。
浏览 3提问于2017-07-30得票数 0
1回答
如何告诉slurm缓存多个提交的配置文件
python、config、slurm、sbatch
我有三个剧本：我使用Slurm中的slurm.sh文件将作业提交给作业调度程序，该文件调用script.py文件，script.py文件从看起来是这样的：现在，我更改config.yaml并提交另一份工作。但是，如果两个作业都在队列中，则config.yaml文件将被覆盖，两个作业将使用</em
浏览 2提问于2018-07-04得票数 0
回答已采纳
1回答
如何使用slurm正确提交作业数组
bash、slurm
我正在尝试使用slurm提交一组作业，但它并不像我预期的那样工作。我的bash脚本是test.shecho $SLURM_ARRAY_TASK_IDpython test.pyprint('TEST MESSAGE 2')sbatch --wrap="bash test.sh"
我甚至不确定我是否该这么做我原以为会有5个作业<
浏览 1提问于2022-07-12得票数 0
回答已采纳
1回答
如何通过依赖于作业列表的sbatch提交SLURM作业
bash、slurm、sbatch
我有一个shell脚本，它向SLURM提交多个作业。这些作业是在以下循环中提交的：slurmids=() # storage of slurm job ids
for k in $(seq 1 $nb_partitions除了提交作业外，此循环还创建数组slurmids，该数组包含所有SLURM作业的作业ids列表。现在，我有另一个SLURM<e
浏览 2提问于2021-07-01得票数 1
回答已采纳
1回答
调用其他SLURM的主SLURM脚本
linux、slurm、supercomputers
我是一名癌症研究人员，我们想知道你们中是否有人知道如何编写一个调用其他SLURM的SLURM脚本。如果上一个脚本成功完成，则继续执行下一个调用。也就是说，类似于：#call first slurm#if it completes successfully sbatch b.slurm sbatch
浏览 7提问于2018-12-07得票数 2
1回答
使用Python提交Slurm作业
python、bash、hpc、sbatch
$SLURM_JOBIDsbatch foo.sh 01_molecule_name_some_method.com
sbatch foo.sh 02_molecule_name_some_method.com 这将提交多个作业我想要将submit.sh更改为<em
浏览 34提问于2020-04-20得票数 0
回答已采纳
我正在使用slurm和slurmdbd (使用MySQL)管理集群AccountingStorageEnforce=associations问题是，我仍然可以使用不存在的slurm用户提交作业。我对选项AccountingStorageEnforce=associations的理解是，非现有用户没有提交作业</em
浏览 0提问于2013-03-22得票数 1
回答已采纳
1回答
如何将sbatch与SLURM和makefile一起使用？
c++、batch-file、makefile、slurm、sbatch
我正在尝试向SLURM提交批处理作业，但我一直收到JobState=FAILED Reason=NonZeroExitCode。我可以在普通的g++上很好地编译和运行代码，但我必须使用SLURM来完成学校的作业。我认为我正在正确地运行它们，并且我得到了一个来自根的令人讨厌的-gram，告诉我停止在登录节点上运行脚本。
浏览 0提问于2014-09-30得票数 2
1回答
更改外部SLURM变量的值
bash
我正在运行一个bash脚本，使用SLURM在Linux集群上运行作业。脚本的相关部分如下所示(slurm.sh)：for i in {1..3}
source slurm.sh。。我想通过在ext.sh的slurm.sh循环中将N变量设置为3、6、8等值来操作N变量is -N (#SBATCH for 5)的值。如何从ext.sh以编程方式访问变量？请帮帮忙。
浏览 2提问于2014-05-30得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频活动推荐
腾讯云开发者
