腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
Slurm
并行
“步骤”:25个独立运行,每个
cpu
使用
一个
cpu
,最多同时运行5个
parallel-processing
、
slurm
我以前
使用
HTCondor作为集群调度程序。现在,即使在阅读
Slurm
文档之后,我也不知道如何
并行
化
.2.拥挤
的
工作(
使用
密码和产卵)#!
浏览 9
提问于2022-05-12
得票数 0
1
回答
使用
更多
cpu
的
slurm
并行
化
作业
slurm
、
hpc
我是
slurm
(和HPC )
的
新手,我已经写了一个我想要执行
的
脚本。我也非常小心,因为集群是一个不同
的
研究所,我不想因为我
的
愚蠢而破坏/破坏东西。我
的
脚本花费了很多时间,我想更快地完成它。我在wiki上看到,这些有时被称为令人尴尬
的
并行
工作?(这意味着很容易将它们
并行
化
)。 我应该如何修改我
的
脚本,使它在
使用
更多
的
cpu</em
浏览 65
提问于2021-07-17
得票数 1
回答已采纳
3
回答
如何将
作业
提交到
SLURM
节点列表中
的
任意[子集]节点?
cluster-computing
、
batch-processing
、
slurm
、
sbatch
我有几千个
作业
要在一个有16个节点
的
SLURM
集群上运行。这些
作业
只能在大小为7
的
可用节点
的
子集上运行。一些任务是
并行
化
的
,因此
使用
了单个节点
的
所有
CPU
能力,而其他任务是单线程
的
。因此,应该在单个节点上同时运行多个
作业
。任何任务都不应在多个节点上生成。目前,我提交
的
每个
作业
如下: sbatch --nodel
浏览 1
提问于2014-10-06
得票数 28
回答已采纳
2
回答
在
SLURM
中在多个目录上运行一个脚本
的
首选方法
hpc
、
slurm
我最典型
的
用例是在多个目录(通常是R或Matlab)上运行一个脚本。我可以访问一个高性能
的
计算环境(基于
SLURM
)。从我目前
的
研究来看,我不清楚以下哪种方法是最有效地利用可用
CPU
/核心
的
方法。方法1: 脚本中
的<
浏览 1
提问于2018-08-03
得票数 1
回答已采纳
1
回答
Slurm
:
使用
多个节点
的
核心进行R
并行
化
r
、
parallel-processing
、
hpc
、
slurm
我想在HPC上
使用
Slurm
调度程序
并行
一个R脚本。每个计算节点有16个核心(32个线程)。我将R脚本传递给
Slurm
,配置如下,
使用
作为
SLURM
的
接口。在问
浏览 0
提问于2019-02-27
得票数 3
回答已采纳
1
回答
slurm
可以运行3台独立
的
计算机作为一个“节点”吗?
slurm
我是一个实习生,负责在三个运行ubuntu
的
计算单元上安装
slurm
。现在
的
工作方式是将ssh放入其中一个计算单元中,并在其中运行一个
作业
,因为所有三个单元都通过nfs挂载共享内存。我
的
问题是,从我在文档中看到
的
情况来看,在安装
slurm
时,我会将每个计算单元指定为一个完全独立
的
节点,而我想要运行
的
任何
使用
多个核
的
作业
仍然会受到单个节点上可用
的
核数
的</e
浏览 0
提问于2020-02-29
得票数 0
回答已采纳
1
回答
如何
使用
Slurm
/Sbatch提交/运行多个
并行
作业
?
python
、
shell
、
slurm
、
sbatch
我正在尝试向
Slurm
服务器提交大量
作业
(数百个),并希望避免为我想要运行
的
每个
作业
提交新
的
shell脚本。提交
的
代码是一个Python脚本,它接受shell脚本中
的
两个输入变量,并且这些变量是在不同
作业
之间唯一变化
的
变量。以下是适用于单个
作业
的
简短shell脚本
的
示例: #!/bin/bash #SBATCH -t 01:00:00
浏览 1898
提问于2021-04-02
得票数 0
1
回答
slurm
作业
阵列与
作业
步骤绩效
的
差异
parallel-processing
、
slurm
、
gnu-parallel
我在
slurm
中运行了一组
并行
作业
(大约1000),每个任务都必须分配给一个
CPU
。阅读,我发现了以下内容: 考虑将相关工作放入具有多个
作业
步骤
的
单一
Slurm
作业
中,这既是出于性能原因,也是为了便于管理。每个
Slurm
作业
可以包含多个
作业
步骤,而
Slurm
中用于管理
作业
步骤
的
开销要比单个
作业
低得多。 <e
浏览 4
提问于2019-07-25
得票数 4
回答已采纳
2
回答
监视在
slurm
作业
上运行
的
OpenFOAM模拟
的
CPU
使用
情况
openmpi
、
slurm
、
openfoam
我已经为
slurm
分配了6个节点解算器运行平稳,没有任何错误。 问题是,与我之前运行
的
非
并行
仿真相比,
的
速度没有得到改善,
的
速度也没有提高。我想监视
CPU
的
使用
情况,看看我分配
的
所有6个节点是否都以类似的方式加载。说,您可以
使用
sacct或sstat命令来监视
slurm
作业
的
CPU
时间和内存
使
浏览 1
提问于2018-02-01
得票数 0
1
回答
使用
slurm
在同一节点上同时运行多个
作业
ubuntu-18.04
、
slurm
我们
的
大部分工作要么是(相对
的
)低
CPU
和高内存(数据处理),要么是内存低和
CPU
高(模拟)。我们拥有的服务器通常足够大(256 is;16核),可以容纳同时运行
的
多个
作业
,我们希望
使用
slurm
来调度这些
作业
。但是,在一个小型(4
CPU
) amazon服务器上进行测试,我无法工作。据我所知,我将不得不
使用
SelectType=select/cons_res和SelectTypeParam
浏览 3
提问于2020-11-22
得票数 1
回答已采纳
1
回答
linux一个节点上
并行
运行
的
任务
的
单独.out文件
linux
、
parallel-processing
、
output
、
slurm
我在linux上
使用
slurm
并行
运行
作业
,方法是请求一个节点,每个
cpu
运行一个任务。#!Always keep th
浏览 2
提问于2021-06-17
得票数 0
回答已采纳
1
回答
Slurm
超订用GPU
gpu
、
slurm
有没有办法在
Slurm
上超额订阅GPU,即运行共享一个GPU
的
多个
作业
/
作业
步骤?我们只找到了超额订阅
CPU
和内存
的
方法,但没有找到GPU
的
方法。我们希望在同一个GPU上
并行
运行多个
作业
步骤,并可选择指定每个步骤
使用
的
GPU内存。
浏览 18
提问于2019-03-15
得票数 2
1
回答
斯劳姆:为什么要在赛巴奇里面
使用
srun?
hpc
、
slurm
在批处理脚本中,您可以直接启动程序或脚本(例如,可执行文件myapp),但在许多教程中,人们
使用
srun myapp。 尽管阅读了关于这个主题
的
一些文档,但我不理解其中
的
区别以及何时
使用
这些语法。我希望这个问题足够精确(第一个问题),谢谢你
的
回答。
浏览 0
提问于2018-12-05
得票数 27
回答已采纳
1
回答
Slurm
数组占用
的
cpus是请求
的
两倍
arrays
、
cpu
、
slurm
我在
使用
Slurm
数组时遇到了一些问题,因为它们占用
的
CPU
是请求
的
两倍。我们有一个具有60个可用于
Slurm
队列
的
核心
的
节点,当我启动一个具有24个cpus
的
玩具阵列示例时,sinfo告诉我们它们正被48个cpus
使用
。%l"检查每个用户占用
的
内核时,
slurm
只计算该用户请求
的
内核(在本例中是24个)。但是,当我检查sinfo sinfo -p da
浏览 1
提问于2021-04-22
得票数 0
1
回答
无法在同一台机器上
的
Ubuntu 18.04上
使用
SLURM
运行
并行
作业
slurm
似乎我不能在同一个节点上运行
并行
作业
。为了测试我是否可以
并行
执行
作业
,我
使用
了一个简短
的
python代码片段:提交
作业
的
方式: #!但是,即使我有带超线程
的
四核
CPU
,其他
的
仍然在排队。
浏览 30
提问于2019-10-30
得票数 1
1
回答
Cgroup和
Slurm
slurm
、
cgroups
我知道如何
使用
cgroups(分配内存、
cpu
使用
率...)和
slurm
(提交、挂起/停止
作业
)。我想知道cgroups是如何
使用
slurm
的
。当我向
slurm
提交
作业
时,我可以在哪里修复内存或
CPU
使用
率?我阅读了
Slurm
Schedmd()
的
文档,但它没有给出很好
的
解释。也许这是对我
的
误解。谁能
浏览 4
提问于2017-05-22
得票数 3
1
回答
SLURM
:连续运行
的
并行
数组
作业
arrays
、
jobs
、
slurm
、
parallels
、
sbatch
我想通过提交一个独特
的
作业
,
使用
SLURM
对
作业
数组执行类似的(
并行
)运行。当一个任务完成时,我想启动第二次运行,它接收第一个任务生成
的
文件。有可能吗?我举了个例子。我想用$
SLURM
_ARRAY_TASK_ID=0,1,2运行3个
并行
任务。当单个任务完成时,例如srun ./my_program1.exe 0完成后,我想启动srun ./my_program1.exe 1仍在运行(每个任务
的
执行
浏览 132
提问于2021-10-11
得票数 0
1
回答
kubernetes和
slurm
,这是正确
的
设置吗?
kubernetes
、
containers
、
hpc
、
slurm
我看到一些人
使用
Kubernetes和
slurm
共存,我只是好奇为什么你需要kubernetes和
slurm
?kubernetes和
slurm
之间
的
主要区别是什么?
浏览 624
提问于2019-07-31
得票数 5
1
回答
一个输入文件来产生多个输出文件
slurm
、
snakemake
这是一种反向
的
snakemake方法,它
的
主要范式是“一个
作业
->一个输出”,但是我需要在
slurm
作业
提交集群中
的
相同输入矩阵上
并行
地运行很多次脚本。我怎样才能做到这一点?我试着指定多个线程、多个节点,每次都指示每个任务一个
cpu
,但它从不提交多个
作业
的
数组,只是一个
作业
的
数组。
浏览 7
提问于2022-02-28
得票数 0
1
回答
SLURM
:如何从目录
并行
地为不同
的
$arg运行相同
的
python脚本
python
、
bash
、
slurm
、
sbatch
在我
的
目录中,每一个对象都是用参数来描述
的
。在我
的
计算机上,为了测试脚本,我只
使用
了一个bash文件,如下所示: 它为目录
的
每一行运行脚
浏览 1
提问于2021-07-27
得票数 1
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
任正非:6G与5G开发是并行的,但规模化使用还很早
PyTorch 并行训练 DistributedDataParallel完整代码示例
送你9个快速使用Pytorch训练解决神经网络的技巧<附代
Flink任务对于流向处理任务调度的应用
GitHub热门项目:生产级深度学习项目如何构建?
热门
标签
更多标签
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
活动推荐
运营活动
广告
关闭
领券