如何查看slurm分区/队列中可用GPU的内存？

文章/答案/技术大牛

发布

1回答

slurm

我想在提交作业之前查看GPU的内存。我设法让slurm告诉我模型：但我想看看内存的大小。我知道我可以使用<code>D1</code>登录到队列并使用<code>D2</code>查看资源，但是队列太满了，可能需要16小时才能给我提供资源。我如何告诉slur

浏览 173提问于2020-11-14得票数 0

1回答

如何在不同的组中访问同一主机的组变量？

ansible、jinja2、ansible-inventory

=['slurm_partition_gpu','slurm_partition_debug'] 我有两个分区- "slurm_partition_gpu“和"slurm_partition_debug所有分区都具有属性"allow_accounts"和"default_partition".。因此，很明显，这些变量在分区之间具有相同<

浏览 4提问于2020-05-15得票数 1

1回答

出错时自动重新运行使用sbatch --array提交的作业

slurm、sbatch

我正在以数组的形式提交作业。有时，一个作业会因为难以诊断的gpu内存问题而出错。只需重新运行作业即可获得成功。我想要做的是捕获这个错误，记录它，并将作业放回slurm的队列中重新运行。如果数组作业不能做到这一点，那也没关系，使用数组并不是必须的(尽管这是首选)。我尝试过使用sbatch --rerun，但这似乎不能满足我的需要(我认为这个选项用于在slurm检测到硬件错误后重新运

浏览 40提问于2019-04-25得票数 1

回答已采纳

2回答

使用C++获取SLURM下的可用内存

c++、hpc、slurm、supercomputers

我在HPC环境中工作，并使用SLURM将我的作业提交到队列中。我正在编写自己的内存缓存机制，因此我想知道每个节点有多少内存可用，以便我可以扩展或重用空间。有没有办法知道有多少内存可用。SLURM是否设置了任何环境变量。

浏览 6提问于2018-03-23得票数 1

1回答

基于资源请求在slurm中设置队列

slurm

我很好奇是否有一种方法可以设置Slurm分区，这样调度程序就可以查询可用的分区，并根据请求的资源量分配给一个分区，例如。假设我有几个队列： small_cpu = node1,2,3 <- assigned when requesting <= 10 coresfail/backfill = nodes10,11,12 <- assig

浏览 41提问于2019-03-08得票数 1

回答已采纳

1回答

CUDA_VISIBLE_DEVICES变量的分隔值

bash、cuda、hpc、slurm

我正在使用SLURM作为调度程序的集群中运行作业。我使用选项--gres=gpu:k80指定GPU卡的类型。但是，因为群集的节点具有不同数量的卡，所以有时会出现2或4。我可以使用以下命令查看可用的设备：它报告一个列表，0,1或0,1,2,3。我需要列表的最大值1或3。这是我的问题: SLURM中有什么选项可以

浏览 1提问于2021-03-15得票数 0

1回答

如何在Slurm中运行一些令人尴尬的并行操作？

slurm

我想翻译我的脚本以利用Slurm的内存管理。具体地说，如果我运行以下bash脚本，就会耗尽内存： for y in a b c; do done这是因为每个run_program实例占用大约30G，而我有大约250G的可用空间我想让run_program的每个实例都被添加到Slurm队列中，并请求30G<em

浏览 1提问于2019-10-21得票数 1

1回答

在Slurm中运行Python脚本

python、slurm、hpc

我最近开始了一项新工作，需要通过Slurm在HPC上运行一些脚本。/va

浏览 3提问于2022-02-26得票数 1

1回答

RDMA读写数据放置/可见语义

rdma、gpudirect

我试图获得更多关于RDMA读写语义(特别是数据放置语义)的详细信息，我想与这里的专家确认我的理解。一旦在完成队列中看到RDMA读取完成，数据是否可用/在本地缓冲区中看到。是相同的行为，如果我使用GPU直接DMA和本地地址映射到GPU内存。一旦在完成队列中看到RDMA读取完成，GPU中的数据会立即可用吗？如果没有立即<em

浏览 3提问于2021-10-12得票数 1

回答已采纳

1回答

如何让slurm限制每个节点的内存

slurm

Slurm管理一个具有8 8core/64 and ram和16 8core/128 and ram节点的集群。有一个低优先级的“长”分区和一个高优先级的“短”分区。在长分区中运行的作业可以由短分区中的作业挂起，在这种情况下，来自挂起的作业的页面大部分被推送到交换。(交换用途仅用于此目的，而不用于活动作业。)如何</e

浏览 2提问于2017-05-16得票数 1

回答已采纳

1回答

如何在Slurm中设置每个作业允许的最大CPU数？

slurm

如何在Slurm中设置每个作业可以请求的最大CPU数量？我们正在运行GPU集群，并希望有合理数量的CPU始终可用于GPU作业。只要任务需要GPU，这就没问题，因为gres.conf中有GPU <-> CPU映射。但这并不会阻止不要求任何GPU的作业不获取系统中的所有CPU。

浏览 126提问于2020-03-30得票数 0

3回答

Slurm，限制每个分区的作业数。

scheduler

我正在配置Slurm调度程序，我需要限制分区(队列)上并发运行的最大作业数。也就是说，我有两个分区，短的和长的，具有相同的计算节点，但是有不同

浏览 0提问于2014-07-11得票数 1

3回答

如何将slurm/salloc设置为每个任务一个gpu，但让作业使用多个gpu？

gpu、cluster-computing、nvidia、slurm

，但是总体上gpu的使用分布在4个可用的设备中(参见下面的gres.conf )。这样，每个任务都不会等待设备0从其他任务中释放出来，就像当前的情况一样。摘要我们希望能够使用slurm和mpi，以

浏览 5提问于2017-09-05得票数 3

1回答

只有当两人都获得分配的资源时，才运行2 slurm作业

pytorch、scheduled-tasks、distributed-computing、slurm

提交一个作业以获得4个GPU。第二个被提交以获得接下来的4个GPU(在另一个节点上)。如何确保这两个作业同时运行，从而最终实现同步(Pytorch DPP)。有一个额外的脚本来检查可用的资源是可行的，但是其他作业可能有优先级，因为它们在队列中，而不是等待. 我使用的特定分区不允许直接请求两个节点。我也知道--dependency标志，但是这只能用作第一个作业的完成

浏览 31提问于2022-06-27得票数 0

1回答

如何在SLURM集群上设置交互式作业分区或批处理只作业分区？

hpc、slurm、torque、pbs

在PBS集群中，我可以设置一个队列，使其只接受qmgr -c "set queue interactive_q disallowed_types = batch"的交互式作业，而只接受qmgr -c "set queue cu disallowed_types = interactive"的批处理作业。但是，在浏览正式的SLURM文档后，我无法找到与SLURM相对应的设置。如何将SLU

浏览 0提问于2022-01-21得票数 2

回答已采纳

1回答

修改mesos代理以添加动态更改的自定义资源

mesos、mesosphere

我正在开发一个新的mesos-slurm框架，其中来自外部的作业也可以被推送到slurm队列中。更新，以更好地解释问题：mesos代理在HPC中编排作业的同一台计算机上安装了slurm。因此，我希望代理在向mesos发送报价之前能够知道slurm队列的状态(正在运行和等待运行的作业数量)，并相应地提供资源。这不能仅仅通过知道执行者接受的任务来实

浏览 3提问于2017-02-01得票数 2

2回答

opencl:同一设备上的不同队列是否可以并行执行内核？

opencl、gpu

我在GPU设备上创建了2个队列，想要在parallel.This中执行内核是不需要在不同队列中的内核之间设置事件的，但是同一队列中的内核必须在order.In中执行。我创建了2个CPU线程，每个CPU线程控制1个队列，并且这两个CPU线程都是在parallel.Now中执行的似乎不同队列之间的内核在parall

浏览 1提问于2013-07-08得票数 1

1回答

对服务总线队列中分区数量的限制

azure、azureservicebus、azure-servicebus-queues

服务总线队列中的分区数量是否有任何限制？提到了一些限制，但没有提到任何关于no的内容。隔断。目前，Service对分区队列和主题施加了以下限制:高级消息层不支持分区队列和主题。会话通过使用SessionId在首要层中得到支持。分区队列和主题不支持在单个事务中发送属于不同会话的消息。服务总线目前允许每个命名空间最多允许100个分区队列<

浏览 3提问于2021-10-25得票数 0

回答已采纳

2回答

是否有一个快速内存队列，我可以使用该交换项目，因为它达到了一定的规模？

c++、c、io、cuda、message-queue

我已经使用c/c++/cuda不到一周了，并且不熟悉库中所有可用的选项(如果我的问题太古怪或不可能，很抱歉)。通常，选项(3)会创建大量数据，而且我很快就超过了可用的内存(我的服务器是16 gigs)，所以我的方法是设置一个队列服务器(Rabbitmq)，这样我就可以发送和接收工作(一旦队列达到一定大小的内存，因此，我的问题是，是否有什么可以像

浏览 6提问于2012-05-12得票数 15

回答已采纳

点击加载更多