腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
以
用户
身份
获取
SLURM
集群
中
允许
的
最大
作业
数
slurm
我在一个基于
Slurm
的
集群
上工作,我想知道是否有一个命令(或一个要查看
的
配置文件)可以让我
以
用户
身份
运行,
以
了解
允许
我同时运行
的
最大
作业
数
(我在
Slurm
文档
中
找不到它)。有这样
的
命令吗?
浏览 109
提问于2020-05-03
得票数 1
回答已采纳
3
回答
Slurm
,限制每个分区
的
作业
数
。
scheduler
我正在配置
Slurm
调度程序,我需要限制分区(队列)上并发运行
的
最大
作业
数
。也就是说,我有两个分区,短
的
和长
的
,具有相同
的
计算节点,但是有不同
的
时间限
浏览 0
提问于2014-07-11
得票数 1
1
回答
限制
slurm
中
并行
作业
数量
的
效率
performance
、
parallel-processing
、
jobs
、
slurm
我
的
问题是基于问题。 我应该考虑使用--array=0-60000%200来限制
slurm
中
并行运行
的
200个
作业
的
数量。在我看来,每次一份旧工作完成,就需要花上一分钟
的
时间去吃午饭--一份新工作。考虑到我计划运行
的
工作数量,我可能会
以
这种方式浪费大量时间。我编写了一个“最可能
的
”非常低效
的
替代方案,包括一个启动
作业
的
脚本,检查队列
中
的<
浏览 1
提问于2019-01-19
得票数 1
回答已采纳
1
回答
在
slurm
脚本
中
启动奇点
slurm
我已经在/usr/local/bin上安装了奇异点,并希望从我
的
linux
集群
上
的
slurm
中
启动奇异点,但是我一直收到以下错误:"error:/var/spool/
slurm
/d/job01485/
slurm
_script:第21行:奇点:命令未找到“ 我
的
路线正确吗?下面是我
的
slurm
脚本
的
重要
浏览 0
提问于2018-02-07
得票数 0
1
回答
带有LDAP
的
Linux
集群
,在多台机器上自动同时创建homedir
linux
、
ldap
、
cluster
、
pam
、
home-directory
我正在设置一个计算机
集群
的
(20+)机器,我有一个工作
的
中央ldap服务器,用于对
用户
进行
身份
验证,并在
集群
中保持GID和UID同步。我不确定用哪种最优雅
的
方法来做这件事,除非有一个.sh脚本有20+ ssh命令配置某种PAM巫毒来完成此操作 有一个cron
作业
为LDAP目录
中
的
每个
用户
创建一个原因:我们正在运行
S
浏览 0
提问于2018-05-16
得票数 1
1
回答
对于某些账号,普通
用户
和sacctmgr创建
的
用户
有什么区别?
slurm
、
sacct
在我们
的
集群
中
,有一些
用户
(在/etc/passwd
中
列出)可以使用
Slurm
提交
作业
。但是,使用sacctmgr,我们还可以定义属于某些帐户
的
用户
。谢谢。
浏览 2
提问于2020-06-19
得票数 0
1
回答
如何在
Slurm
中
设置每个
作业
允许
的
最大
CPU
数
?
slurm
如何在
Slurm
中
设置每个
作业
可以请求
的
最大
CPU数量? 我们正在运行GPU
集群
,并希望有合理数量
的
CPU始终可用于GPU
作业
。但这并不会阻止不要求任何GPU
的
作业
不
获取
系统
中
的
所有CPU。
浏览 126
提问于2020-03-30
得票数 0
1
回答
在批处理中使用数组和节点列表
matlab
、
slurm
由于Matlab将如何利用计算
集群
上
的
资源
的
局限性,我想创建几个
作业
,每个
作业
都使用给定节点上
的
所有核心。我可以结合其他参数使用-数组选项来确保在一个单独
的
节点上得到每个
作业
。但是,出于某种原因,我们
集群
上
的
slurm
计划将我
的
作业
放在已经在使用
的
节点上,即使我试图使用-c选项来
最大
化给定节点上
的
核心: #SB
浏览 1
提问于2014-09-03
得票数 1
回答已采纳
1
回答
如何在DASK
中
批量调度dask_jobqueue
作业
而不是并发?
dask
根据我对Dask-Jobqueue (https://jobqueue.dask.org/en/latest/)
的
阅读,以及在我们
的
SLURM
集群
上
的
测试,似乎当您设置cluster.scale(n)并创建client = Client(cluster)时,在您
的
作业
的
所有n都能够启动之前,没有一个
作业
能够启动。假设您有999个
作业
要运行,一个
集群
有
浏览 30
提问于2019-05-15
得票数 0
1
回答
Snakemake:如何实现将输入/输出文件复制到/从tmp文件夹并在那里应用规则
的
机制
hpc
、
slurm
、
snakemake
、
tmp
我们使用
Slurm
工作负载管理器向我们
的
高性能
集群
提交
作业
。在
作业
运行时,我们需要将输入文件从网络文件系统复制到节点
的
本地文件系统,在那里运行我们
的
分析,然后将输出文件复制回网络文件系统上
的
项目目录。虽然工作流管理系统Snakemake与
Slurm
集成(通过定义概要文件)并
允许
以
Slurm
作业
的
形式运行工作流
中
的</em
浏览 0
提问于2020-03-19
得票数 3
1
回答
如何创建
Slurm
分区
linux
、
ubuntu
、
cluster-computing
、
slurm
、
hpc
我试图构建一个
集群
,但我被困在
slurm
分区部分。我确实创建了一个帐户和一个
用户
,但是我不知道如何创建一个分区来将其分配给一个帐户。我使用
的
是光明计算,所以它会自动安装
SLURM
并创建一个名为defq
的
分区。如果有人有一个创建分区并将其分配给帐户
的
命令示例,这将是非常有用
的
。如果我有任何错误,请纠正我。 谢谢
浏览 5
提问于2022-07-18
得票数 0
回答已采纳
1
回答
向
slurm
提交大量工作
的
最佳实践
slurm
、
hpc
我需要向我们
的
集群
提交几千个职位。每项工作大约需要六个小时才能完成。如果我使用所有可用
的
资源,这需要大约一周
的
时间。理论上,我可以这样做,但我会阻止所有其他
用户
一周。所以这不是一种选择。我有两个可能解决这个问题
的
想法: 创建数组
作业
并限制运行
作业
的
最大
数量。我不喜欢这个选择,因为很多时候(晚上,周末等)没有人使用
集群
,我
的
作业
不能一次使用这些未使用
的</e
浏览 2
提问于2021-07-30
得票数 1
回答已采纳
1
回答
为什么反复叫喊“贫民窟里
的
尖叫声”会让人皱眉头?
cluster-computing
、
slurm
、
sungridengine
、
lsf
为什么不建议在循环中运行squeue以避免重载
Slurm
,但是对于来自LSF
的
bjobs工具或来自SGE
的
qstat却没有提到这样
的
限制?如果来自squeue或其他
Slurm
客户端命令(将远程过程调用发送到slurmctld守护进程)
的
调用立即进入,则可能导致slurmctld守护进程
的
性能下降,可能导致拒绝服务。不要运行squeue或其他
Slurm
客户端命令,这些命令从shell脚本或其他程序
中
的
循环中向slurm
浏览 4
提问于2020-06-22
得票数 5
回答已采纳
1
回答
如何在
Slurm
中
设置多因素优先级队列
slurm
我正在寻求帮助在
Slurm
中
建立一个优先级队列,
slurm
_update_job(&job_update); 我尝试过将此代码放入/etc/
slurm
/
slurm
.conf
中
,但这没有任何作用。如果有人可以澄清的话之外,因为这没有给出关于如何在
slurm
内部实现
的
足够信
浏览 0
提问于2019-03-14
得票数 0
2
回答
slurm
中
无效
的
作业
数组规范
cluster-computing
、
slurm
我提交了一个玩具阵列
作业
在
slurm
。我
的
命令行是其中j1是脚本:echo job id is $
SLURM
_JOB_IDecho task id id $
SLURM
_ARRAY_TASK_ID(PRJ-1234)...OK sbatch: error: Bat
浏览 9
提问于2015-02-26
得票数 7
回答已采纳
1
回答
使Hadoop
以
Kerberos
用户
身份
运行
hadoop
、
mapreduce
、
hdfs
、
kerberos
在Kerberos中有一个名为"foo“
的
用户
,hadoop
集群
受到Kerberos
的
保护。我想让hadoop
集群
以
"foo“
的
身份
运行
作业
,我该怎么做?什么配置
允许
hadoop客户端指定kerberos
用户
帐户名运行,就像hadoop
集群
'kinit username‘然后运行mapreduce
作业
一样?仅供参考,hadoop 2.
浏览 2
提问于2015-11-03
得票数 0
1
回答
Snakemake WorkflowError:未能将
作业
组合在一起
slurm
、
snakemake
背景:我必须将我
的
Snakemake管道从一个节点
的
使用调整到一个具有资源管理
的
集群
。使用特定于
SLURM
的
Snakemake配置文件,我
的
规则成功地作为
SLURM
作业
提交,因此我继续将Snakemake指令resources添加到每个非本地规则
中
,
以
优化队列调度。问题:我
的
管道有许多小
的
单CPU
作业
,我用Snakemake规则指令group绑定
浏览 5
提问于2021-11-12
得票数 0
回答已采纳
3
回答
如何将
作业
提交到
SLURM
节点列表
中
的
任意[子集]节点?
cluster-computing
、
batch-processing
、
slurm
、
sbatch
我有几千个
作业
要在一个有16个节点
的
SLURM
集群
上运行。这些
作业
只能在大小为7
的
可用节点
的
子集上运行。一些任务是并行化
的
,因此使用了单个节点
的
所有CPU能力,而其他任务是单线程
的
。因此,应该在单个节点上同时运行多个
作业
。任何任务都不应在多个节点上生成。目前,我提交
的
每个
作业
如下: sbatch --nodelist=myCluster[10-16] myScri
浏览 1
提问于2014-10-06
得票数 28
回答已采纳
1
回答
为什么
Slurm
会在几秒钟后杀死一个特定
用户
的
作业
?
slurm
我管理一个由许多
用户
组成
的
Slurm
集群
,
集群
的
操作对于所有
用户
来说都是“完全正常”
的
;除了一个
用户
。这个
用户
可以在20-25秒后通过
Slurm
执行命令。resources注意,当我
以
自己
的
身份
运行srun --pty sleep 20时,srun不会输
浏览 38
提问于2021-04-09
得票数 2
1
回答
有人对Smilei mpi任务很了解吗?
simulation
我试图通过OpenMP mpi(混合)在
集群
上运行Smilei模拟。但是在加载python之后,它在读取模拟参数时显示消息,如下所示。33m^[[;33m 在本例
中
,任务显示为使用squeue命令,但我在top上找不到
作业
,实际
作业
被暂停,就好像它无法从循环中逃脱一样。但是,当我在带有CPU
的
桌面WSL上运行相同<
浏览 9
提问于2022-08-18
得票数 0
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
某头部零售集团的数据云平台“多租户安全”实践
GitLab 12.2发布,新增设计管理和管道有向无环图管理
百度深度学习平台PaddlePaddle框架解析
云和Hadoop联合有意义的六大原因是什么?
Openstack Sahara开启大数据云端之旅
热门
标签
更多标签
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
活动推荐
运营活动
广告
关闭
领券