如何为slurm作业指定每个核心的最大内存

文章/答案/技术大牛

发布

1回答

slurm

我想为slurm中的批处理作业指定每个内核的最大内存量我可以看到两个sbatch内存选项： --mem=MB maximum amount of real memory per node这两个选项都适合我的需要如何实现这一目标有什么建议吗？

浏览 146提问于2020-09-16得票数 1

1回答

SLURM上的内核是如何分配给Snakemake的内存和线程分配的？

multithreading、memory、slurm、snakemake

我很难理解分配给蛇形作业的线程和资源是如何转换为slurm分区上每个蛇形作业分配的核数的。我已经在运行我的snakefile的.sh上将-core标志设置为46，但是5个蛇形作业中的每一个都同时运行，每个任务都提供了16个内核。规则特定的线程号是否超过了-- snakemake的核心标志？我以为这是我所有工作都必须一起工作<em

浏览 6提问于2021-02-02得票数 2

回答已采纳

2回答

Slurm使用的内存比分配的要多。

slurm、job-scheduling

正如您在下面的图片中所看到的，我已经创建了一个S批处理脚本，以便运行10个作业数组(具有1GB的内存分配)。但是，当我运行它时，如第二张图片所示，所使用的内存占总内存的3.7%，相当于每个作业18.9GB的内存。有人能解释一下为什么会发生这种事吗？作为参考，下图显示分配的内存量确实是10 in，如sbatch脚

浏览 14提问于2022-05-03得票数 1

回答已采纳

1回答

监视slurm作业中每个节点的内存使用情况

slurm

我的slurm作业使用几个节点，我想知道每个节点对正在运行的作业的最大内存使用量。我能做什么?现在，我可以对每个节点进行ssh并执行free -h -s 30 > memory_usage，但我认为一定有更好的方法。

浏览 5提问于2022-02-07得票数 0

1回答

并行执行多个作业时指定SLURM资源

bash、slurm、sbatch

根据这里的答案，用户可以通过What does the --ntasks or -n tasks does in SLURM?的ntasks参数并行运行多个作业，后跟srun。要问一个后续问题-如何指定在以这种方式并行运行作业时所需的内存量？如果3个作业并行运行，每个作业需要8G内存，是在sbatch中指定24G内存(即来自所有作业</e

浏览 49提问于2018-12-28得票数 3

回答已采纳

1回答

slurm可以运行3台独立的计算机作为一个“节点”吗？

slurm

我是一个实习生，负责在三个运行ubuntu的计算单元上安装slurm。现在的工作方式是将ssh放入其中一个计算单元中，并在其中运行一个作业，因为所有三个单元都通过nfs挂载共享内存。我的问题是，从我在文档中看到的情况来看，在安装slurm时，我会将每个计算单元指定为一个完全独立的节点，而我想要运行的任何使用多个核的作业仍然会受到单个节点上可用<e

浏览 0提问于2020-02-29得票数 0

回答已采纳

1回答

SLURM:在作业中不能使用超过8个CPU

slurm

抱歉问了个愚蠢的问题。我们使用slurm-16.05.9设置了一个小型集群。，每个套接字有20个核心，总共有40个CPU。然而，我们不能提交一个使用超过8个CPU的作业。例如，使用以下职务说明文件：ControlMachine=cbc1AuthType=auth/munge Cr

浏览 9提问于2022-08-25得票数 1

1回答

浆体-n与-c的区别

mpi、openmp、shared-memory、distributed-computing、slurm

我工作的集群最近从SGE切换到SLURM。我想知道sbatch选项--ntasks和--cpus-per-task之间有什么区别？--ntasks似乎适合于我运行的一些MPI作业，但对于我运行的一些OpenMP作业似乎不合适。对于SLURM脚本中的OpenMP作业，我指定：分区中的所有节点都是20核心机器，因此每台机器只能运行一个作

浏览 5提问于2016-02-08得票数 2

回答已采纳

1回答

在批处理中使用数组和节点列表

matlab、slurm

由于Matlab将如何利用计算集群上的资源的局限性，我想创建几个作业，每个作业都使用给定节点上的所有核心。我可以结合其他参数使用-数组选项来确保在一个单独的节点上得到每个作业。但是，出于某种原因，我们集群上的slurm计划将我的作业放在已经在使用的节点上，即使我试图使用-c选项来最大化给定节点上的</e

浏览 1提问于2014-09-03得票数 1

回答已采纳

1回答

分配给SLURM作业的核心

linux、cluster-computing、slurm

假设我想提交一个slurm作业，只分配任务总数(--ntasks=someNumber)，而不指定节点数量和每个节点的任务。在已启动的slurm脚本中，是否有一种方法可以知道slurm为每个保留节点分配了多少个核心？我需要知道这个信息才能正确地为我正在启动的程序创建一个机器文件，它的结构必须如下所示：一旦作业启动，我了解到

浏览 2提问于2020-05-30得票数 2

回答已采纳

1回答

单独释放CPU资源的批处理slurm作业

slurm、sbatch

我有一个由多个节点组成的集群，具有多个核心，我只想运行数千个作业，每个作业只需要一个CPU就可以了。最好用sbatch。在阅读了几个小时的文档之后，我仍然遇到了一些问题。我目前的设置是：#SBATCH --tasks-per-node=25我从sbatch开始使用其中的几个，它们似乎排得很好。此脚本启

浏览 0提问于2018-01-19得票数 1

回答已采纳

1回答

dask_jobqueue中的作业、工作人员和任务

python、dask、slurm、dask-distributed、dask-jobqueue

我使用的是带有Dask的SLURM集群，并不完全理解配置部分。作业是提交给作业排队系统并由其管理的资源(例如PBS、SGE等)。在“达克作业队列”中，单个作业可能包括一个或多个员工。问题是我还是不明白。我对Dask工作方式的理解是，已经设置了n_workers，并且每个任务都提交给了一组这样的工作人员。在给定的时间内，任何工作人员都可能使用多个线程和进程处理一个任务。然而，我<

浏览 26提问于2022-05-04得票数 0

1回答

因此，我有一个使用多处理的python脚本，它有4种运行方式，这取决于它在运行时读取的环境变量APP_TYPE。因此，我使用slurm --array使其并行。问题是，它没有生成4个作业，每个作业都有自己的任务(使用所有节点核在A/B/C/D模式下运行python脚本)，而是每次任务产生次数。也就是说，我运行sbatch batch.sh，它在每个作业中产生4个任务。请注意，我期待着在每个</e

浏览 1提问于2021-05-28得票数 0

2回答

SLURM数组如何与SBATCH资源分配接口？

linux、slurm、sbatch

/bin/bash#SBATCH -n 4#SBATCH --array=1- 我正在尝试启动一个阵列，对于阵列中的每个任务，我希望它使用RM共享分区上的4个核心。我这样做是否正确，或者这是否指定通过的阵列输出的所有任务必须共享4个核心？我将为此提出一个单独的问题，但由于某种原因，当我运行此命令时，$SLURM_

浏览 56提问于2021-06-10得票数 0

1回答

Slurm超订用GPU

gpu、slurm

有没有办法在Slurm上超额订阅GPU，即运行共享一个GPU的多个作业/作业步骤？我们只找到了超额订阅CPU和内存的方法，但没有找到GPU的方法。我们希望在同一个GPU上并行运行多个作业步骤，并可选择指定每个步骤使用的GPU内存。

浏览 18提问于2019-03-15得票数 2

2回答

使用C++获取SLURM下的可用内存

c++、hpc、slurm、supercomputers

我在HPC环境中工作，并使用SLURM将我的作业提交到队列中。我正在编写自己的内存缓存机制，因此我想知道每个节点有多少内存可用，以便我可以扩展或重用空间。有没有办法知道有多少内存可用。SLURM是否设置了任何环境变量。

浏览 6提问于2018-03-23得票数 1

1回答

如何动态分配每个节点的核数？

slurm

name#SBATCH --nodes = 1 #SBATCH --time=01:00:00# Time limit 如果不指定每个节点的核心数量取决于正在使用的队列。我希望分配每个节点的最大核心数，而不必在slurm脚本中提前指定它。我用它来运行一个使用detectCores()和mclapply的R脚本。

浏览 41提问于2019-05-27得票数 0

1回答

Slurm多处理Python作业

python、python-2.7、multiprocessing、slurm

我有一个4节点Slurm集群，每个都有6个核心。我想提交一个测试Python脚本(它产生的进程打印正在运行的节点的主机名)，它使用以下多处理： print gethostname() pool.apply_async(print_something)pool.join() 我用一个SBATCH脚本提交这个脚本，它指定了nodes=4和

浏览 4提问于2015-09-15得票数 4

回答已采纳

2回答

如何配置batchscript使R脚本与future.batchtools (SLURM)并行化

r、parallel-processing、future、hpc、slurm

我试图使用future.batchtools包在SLURM HPC上并行化一个R文件。当脚本在多个节点上执行时，它只使用1个CPU，而不是12个可用的CPU。到目前为止，我尝试了不同的配置(c.f.附加的代码)，这不会导致预期的结果。我的包含配置的bash文件如下： #!cran.r-project.org/web/packages/future.batchtools/vignettes/future.batchtool

浏览 0提问于2019-07-26得票数 5

点击加载更多