通过Python提交SLURM作业的最佳实践

文章/答案/技术大牛

发布

1回答

python、shell、slurm、snakemake、joblib

这是一种通用的最佳实践问题。我有一个Python脚本，它迭代一些参数并使用这些参数调用另一个脚本(这基本上是对一些简单的深度学习模型的网格搜索)。这在我的本地机器上工作得很好，但是现在我需要我的unis计算机集群的资源，它使用SLURM。我在python脚本中有一些逻辑，我认为在shell脚本中很难实现，而且可能不合时宜。我也不能一下子把所有作业都扔到集群上，因为我想跳过某些参数组

浏览 24提问于2020-05-10得票数 1

回答已采纳

1回答

带依赖作业的Slurm作业阵列

slurm

我有一组依赖的Slurm作业正在成功提交。这些作业的设置如下： \ / | |我需要提交这组工作1000次，每次参数化略有不同。如果我要在没有依赖项的情况下提交大量作业，我将使用作业数组对其他用户和调度程序友好。提交相关作业的作业数组的最佳</e

浏览 8提问于2022-08-17得票数 1

回答已采纳

2回答

处理作业提交限制

slurm

我使用--array运行slurm作业数组，我想运行大约2000个任务/数组项。但是，这超出了集群一次提交约500个作业的限制。有没有什么小贴士/最佳实践来拆分这一切呢？我想一次提交所有的数组，如果可能的话，仍然可以将数组id参数1-2000传递给我的程序。我认为像等待提交数组片段这样的事情可能会有帮助，但目前我不确定如何做到这一点。

浏览 0提问于2020-11-10得票数 0

1回答

在带有SLURM的HPC系统上使用GNU并行运行多个python文件实例和两个输入文件

python、hpc、slurm、gnu-parallel

我试图在一个HPC-系统上并行运行一个python文件240次(因为每个单独的文件运行大约需要9分钟)。理想情况下，每个python文件都应该运行在单个核心上。每个节点有24个核心。python文件接受两个输入文件，每组一个：parallel="parallel --delay .2 \ -j $SLURM

浏览 2提问于2020-05-05得票数 1

1回答

我正在尝试在SLURM管理的集群中启动多个任务，并希望避免处理数十个文件。plotConvergence.py i 然后，我使用另一个bash文件slurm_run_all.sh提交所有这些任务 #!/bin/bash sbatch slurm_run_$i.sh done 这是可行的(集群上正在运行50个作业)，但是我发现输入文件超过50个是很麻烦的。但是，我不能单独管理这些作业<

浏览 38提问于2020-04-16得票数 1

回答已采纳

2回答

使用Python子进程运行SLURM脚本以将多个长作业提交到队列，并在继续执行Python脚本之前等待作业完成

python、queue、subprocess、wait、slurm

这种情况的基本情况是，我使用Python的subprocess模块运行SLURM脚本，该脚本将大量作业提交到我使用的一些高性能计算资源上的队列。我希望Python脚本等待所有提交的作业完成。我试着这样做：proc.wait() 但是

浏览 1提问于2017-04-28得票数 2

1回答

如何使用Slurm/Sbatch提交/运行多个并行作业？

python、shell、slurm、sbatch

我正在尝试向Slurm服务器提交大量作业(数百个)，并希望避免为我想要运行的每个作业提交新的shell脚本。提交的代码是一个Python脚本，它接受shell脚本中的两个输入变量，并且这些变量是在不同作业之间唯一变化的变量。以下是适用于单个作业的简短shell脚本的示例： #!/bin/ba

浏览 1898提问于2021-04-02得票数 0

1回答

SLURM需要GPU资源请求

slurm

是否有一种方法要求作业具有--gres=gpu:X对S批处理和运行作业提交？要么让作业需要该标志，要么设置每个作业(如DefMemPerNode )的默认gpus数。我的slurm.conf当前设置为SelectType=select/cons_res SelectTypeParameters=CR_Core如果没有办法通过slurm配置

浏览 4提问于2022-02-15得票数 0

1回答

用于请求时间的Slurm环境变量

slurm

对于slurm作业，环境变量$SLURM_JOB_NUM_NODES提供请求的节点数。#!account=abc#SBATCH --job-name=xyz

浏览 7提问于2022-01-28得票数 2

回答已采纳

1回答

在python中与slurm作业交互

python、slurm

我需要通过python与集群上的slurm进行交互。具体地说，我需要提交一堆作业，检查成功的作业，重新提交失败的作业，收集结果，等等。在R中，有一个名为BatchJobs的包，它提供了这些功能。Python中的等价物是什么？我在周围看到了PySlurm，但它看起来还在开发中，不会拥有我需要的所有功能。

浏览 0提问于2018-05-06得票数 1

4回答

使用python自动创建bash脚本

python、bash、slurm

我正在尝试为我在中列出的一个问题寻求帮助，从一些进一步的研究中，我认为Python脚本可能是答案。也就是说，我是Python的新手，不确定如何实现我的想法，也不确定它是否正确。我正在通过SLURM脚本运行matlab函数。SLURM脚本(我认为)是一种bash脚本，但它专门用于在HPC上调度作业。我的问题是，例如，我希望一次提交10个作业，但所有作业</e

浏览 1提问于2019-07-19得票数 0

1回答

如何将SLURM作为输入参数传递给python？

deep-learning、python-3.6、slurm

我是用SLURM训练一批卷积神经网络的新手。为了跟踪所有训练好的CNN，我想把SLURM jobID作为输入参数传递给python。将其他变量作为参数传递很好。但是，我无法访问SLURM作业人员的身份。以下是我的</

浏览 1提问于2019-08-10得票数 2

回答已采纳

1回答

python、google-cloud-platform、google-compute-engine、slurm

我一直在努力尝试让python脚本的多个实例在SLURM上运行。我可以使用以下命令在登录节点上运行此脚本此外，我可以提交一个脚本submit.sh来运行该作业：found 当我尝试以数组的形式提交作业时，我发现我遇到了同样的问题。python3.6 my

浏览 2提问于2018-10-24得票数 0

1回答

如何根据作业id查找用于slurm作业的命令？

slurm

在使用sbatch file.slurm提交slurm作业后，您将获得一个作业ID。您可以使用squeue和sacct来检查作业的状态。但都不会返回作业的原始提交命令(sbatch file.slurm)。是否有一个命令可以显示提交命令，即sbatch file.slurm？我需要将作业I与我的提交命令链接起来

浏览 8提问于2020-03-05得票数 0

点击加载更多