腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
SLURM
bash
脚本
的
并行
化
和
资源
分配
、
、
我有可能在HPC环境中进行处理,其中任务管理
和
资源
分配
由
SLURM
批处理作业系统控制。然而,我还没有找到正确
的
配置,如何有效地利用R中
分配
的
资源
。我尝试使用R中未来包
的
计划(多核) -function为
SLURM
中
的
一个任务
分配
20个CPU。在使用不同
的
CPU
分配
计数运行测试运行后,效率统计数据表明,在这些设置下,在测试运行期间只使用了一个<em
浏览 41
提问于2020-10-26
得票数 1
回答已采纳
1
回答
如何让
slurm
为每个节点
分配
一个任务?
我在S批处理
脚本
的
开头尝试了一个#SBATCH参数
的
变体,但没有成功。到目前为止,我尝试过
的
是:#SBATCH -n 60#SBATCH -e
slurm
_error/error_%j.txt#!/bin/
bash
#SBATCH -o
s
浏览 0
提问于2019-07-10
得票数 2
回答已采纳
3
回答
不使用parfor循环运行多个matlab实例
、
、
我想在不运行parfor循环
的
情况下运行matlab
的
几个实例。我
的
代码
的
结构如下:% Set some parameters here% Set some other parameters here elseifk == 10end 是否有一种有效
的
方法来打开matlab
的
10个实例,其中每个实例将以给定
的
k值运行。我知道,在使用
sl
浏览 38
提问于2022-08-07
得票数 4
回答已采纳
1
回答
SLURM
不是
并行
运行python
脚本
,而是可以访问
并行
资源
。
、
、
、
我正在尝试运行一个python
脚本
,其中一部分代码将根据
SLURM
环境变量被
并行
化
。我不认为确切
的
代码是重要
的
,但作为参考,我想通过来训练我
的
网络。现在,问题是我需要通过srun运行我
的
脚本
,但是这会产生我不想要
的
脚本
的
多个
并行
实例。#!时,将有2个myscript.py实例
并行
运行。然而,这不是我想要<em
浏览 2
提问于2020-05-19
得票数 2
回答已采纳
1
回答
Slurm
:使用多个节点
的
核心进行R
并行
化
、
、
、
我想在HPC上使用
Slurm
调度程序
并行
一个R
脚本
。每个计算节点有16个核心(32个线程)。我将R
脚本
传递给
Slurm
,配置如下,使用作为
SLURM
的
接口。 #!,我使用30个核进行“多核”
并行
化
。这样,作业就
分配
给两个节点。然而,只有一个节点正在进行计算(在16个核上)。第二个节点被
分配
给作业,但什么也不做
浏览 0
提问于2019-02-27
得票数 3
回答已采纳
1
回答
Slurm
将工作划分为多个部分,而不是并发度。
我有一个很大
的
任务,我想把它分成几个部分,并使用
slurm
并行
运行。具体来说,我想将工作分成更多
的
部分,而不是在我
的
系统上用我想要
分配
的
资源
同时运行。我想到
的
基本成语是调用sbatch,将工作划分为k (大于某些并发任务
的
最大N数)部分,并有
slurm
队列任务,直到有可用
的
资源
来运行它们。具体来说,假设我有一个文件,其中每一行代表要完成
的
一段工作
浏览 1
提问于2022-02-17
得票数 1
回答已采纳
1
回答
当在
Slurm
中执行代码时,如何辨别哪个节点正在执行代码?
、
、
、
、
我对
Slurm
和
分布式/
并行
计算非常陌生,所以希望有人能对我
的
问题有所了解,但请记住,这可能是一个愚蠢而简单
的
问题。我已经使用6个从Pi3s (
和
1个主服务器)设置了一个集群,并安装了
Slurm
工作负载管理器来帮助
分配
资源
等。 在我开始编写更复杂
的
代码之前,我想测试一些非常简单
的
东西。我当前
的
代码(可以工作)是: srun --nodes=6 hostname 并返回:
浏览 25
提问于2019-06-21
得票数 1
回答已采纳
1
回答
SLURM
_ARRAY_TASK_ID为空
、
我是
SLURM
和
云计算方面的新手。这是
bash
代码。
浏览 5
提问于2018-10-10
得票数 1
1
回答
使用
SLURM
在HPC集群上运行作业
假设我有两个Python
脚本
:test1.py
和
test2.py注意:test1.py
和
test2.py是相互独立
的
。
浏览 0
提问于2021-09-23
得票数 1
1
回答
slurm
作业阵列与作业步骤绩效
的
差异
、
、
我在
slurm
中运行了一组
并行
作业(大约1000),每个任务都必须
分配
给一个CPU。每个
Slurm
作业可以包含多个作业步骤,而
Slurm
中用于管理作业步骤
的
开销要比单个作业低得多。 作业数组是管理具有相同
资源
需求
的
批处理作业集合
的
有效机制。这似乎意味着具有多个作业步骤
的
单个作业(例如,一个具有多个srun调用
的
批处理
脚本
,每个调用具有相同
的
资源
)
浏览 4
提问于2019-07-25
得票数 4
回答已采纳
2
回答
在
SLURM
中在多个目录上运行一个
脚本
的
首选方法
、
我最典型
的
用例是在多个目录(通常是R或Matlab)上运行一个
脚本
。我可以访问一个高性能
的
计算环境(基于
SLURM
)。从我目前
的
研究来看,我不清楚以下哪种方法是最有效地利用可用CPU/核心
的
方法。我还想确保我没有不必要地占用系统
资源
,所以我想再次检查以下两种方法中哪一种最合适。 将其包装在一个将
脚本
应用于所有目录
的
浏览 1
提问于2018-08-03
得票数 1
回答已采纳
2
回答
如何配置batchscript使R
脚本
与future.batchtools (
SLURM
)
并行
化
、
、
、
、
我试图使用future.batchtools包在
SLURM
HPC上
并行
化
一个R文件。当
脚本
在多个节点上执行时,它只使用1个CPU,而不是12个可用
的
CPU。到目前为止,我尝试了不同
的
配置(c.f.附加
的
代码),这不会导致预期
的
结果。我
的
包含配置
的
bash
文件如下:#SBATCH --nodes=2 #SBATCH --cpus-per
浏览 0
提问于2019-07-26
得票数 5
3
回答
在
SLURM
中- -n任务或-n任务做什么?
、
显然,我已经阅读了它
的
文档(): 我想我
的
第一个问题是“任务”这个词
浏览 4
提问于2016-08-27
得票数 73
1
回答
SLURM
+Docker:如何使用SLURMs scancel杀死由docker创建
的
进程
、
、
、
、
我们目前已经使用
SLURM
作为
资源
管理器设置了一个GPU计算集群。由于这是一个用于深入学习
的
集群,我们通过使用nvidia-docker映像来管理依赖关系,以方便不同
的
框架
和
CUDA版本。我们
的
典型用例是使用srun
分配
资源
,并给出一个运行nvidia-docker
的
命令,该命令运行实验
脚本
,如下所示: srun --gres=gpu:[num gpus required] nvidia-dockerrun --rm
浏览 0
提问于2019-03-14
得票数 2
1
回答
单
slurm
数组与多个S批处理调用
我可以使用类似于以下
的
N数组来运行令人尴尬
的
并行
作业:或者,我认为我可以通过手动启动8个作业,从调度
的
角度(即独立调度,一旦
资源
可用)实现同样
的
目标。例如,使用带有循环
的
简单
bash
脚本
。我是不是遗漏了什么?
浏览 3
提问于2022-06-03
得票数 0
2
回答
使用批处理写入文件
、
我是
slurm
的
新手,我正在尝试对shell
脚本
进行批处理,以便写入文本文件。我
的
shell
脚本
(标题为"troublesome.sh")如下所示:#SBATCH -N 1 echo "It worked!"如预期
的
那样传送到doeswork.txt。但是,当我运行sbatch troublesome.sh > doesnotwork.txt时,生成<
浏览 4
提问于2020-06-24
得票数 0
1
回答
在
Slurm
中使用Python多处理,并且我需要哪种ntasks或ncpus组合?
、
、
、
、
我试图在
slurm
集群上运行python
脚本
,并且使用python
的
内置multiprocessing模块。(func, arg_list)#!请注意,func
的
主要部分包含倾向于在两个核心上运行<
浏览 0
提问于2017-03-28
得票数 7
回答已采纳
1
回答
使用
SLURM
运行多阶段作业
、
、
、
、
我是斯隆
的
新手。我
的
问题是,我有一个多阶段作业,需要在集群上运行,其作业由
SLURM
管理。每个步骤都可以使用单独
的
bash
脚本
运行;而
脚本
的
执行
和
阶段之间
的
转换则由主节点协调。 我
的
问题是,我知道如何
分配
节点,并使用
SLURM
在每个节点上调用单个命令或
脚本
(在每个节点上作为独立作业运行)。但是,一旦命令在每个节点上完成(或者调用
的</em
浏览 0
提问于2015-02-25
得票数 0
1
回答
SLURM
高可用性头节点
根据,
SLURM
的
高可用性是通过部署第二个BackupController来实现
的
,后者在主服务器失败时接管,并从共享文件系统(可能是NFS)检索当前状态。我想做
的
是一个经典
的
3层设置:第一层
的
负载均衡器,它将所有请求均匀地分布在秒级
的
节点上。这要求head节点处于无状态状态。第三层是存储或读取所有信息
的
数据库层。我
浏览 2
提问于2018-06-05
得票数 3
回答已采纳
4
回答
Slurm
作业,知道它在哪个节点上
、
在
bash
/
slurm
中是否有一种方法可以让
脚本
知道它运行在哪个节点上?sstat是这样做
的
,但是我需要知道我
的
工作id是什么,
脚本
似乎也不知道这个id(或者至少我还没有找到它)。
浏览 7
提问于2017-05-12
得票数 4
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
Bash脚本示例:自动化管理员工上网行为报告的生成和发送
PyTorch 并行训练 DistributedDataParallel完整代码示例
Linux下sh和./执行脚本区别
Bash基础训练指南
为什么 Bash 脚本总是不稳定?
热门
标签
更多标签
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM
活动推荐
运营活动
广告
关闭
领券