腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
2
回答
如何
使用
SLURM
在
一批
程序
中
运行
两个
多
进程
程序
?
hpc
、
slurm
我有几个节点的
SLURM
集群,每个节点有16个vcpu。srun --exclusive --nodes=1 program2 & wait program1和program2分别需要16cpu,我希望分配2个32核的节点,
在
第一个节点上
运行
program1,
在
第二个节点上
运行
program2,但我得到了以下错误消息: srun: error: Unable to create step for job 364966: Requested node configurationis not avai
浏览 310
提问于2020-07-24
得票数 0
回答已采纳
2
回答
等待由单独
程序
在后台启动的
slurm
作业步骤
bash
、
slurm
、
dvc
在下面的
Slurm
批处理脚本
中
,
程序
step_one和step_two要同时
运行
,因此wait调用是必要的,这样作业就不会在作业步骤完成之前终止。#SBATCH --ntasks=2srun --overlap -n2 step_two &wait阻塞,直到在后台
运行
的所有
进程
都完成为止如果另一个
程序
启动我需要wait的
进程
,我
如何</em
浏览 20
提问于2022-10-04
得票数 2
回答已采纳
1
回答
使用
SLURM
和有限的资源并行
运行
MPI调用队列
bash
、
parallel-processing
、
mpi
、
cluster-computing
、
slurm
我正在尝试
使用
SLURM
在
集群上
运行
粒子群优化问题,优化算法由单核matlab
进程
管理。每个粒子求值都需要在
两个
Python
程序
之间交替进行多个MPI调用,直到结果收敛。最初,我天真地将每个MPI调用作为单独的
SLURM
作业提交,但由此产生的排队时间使其比
在
本地串行
运行
每个作业慢。我现在正在尝试找出一种提交N节点作业的方法,该作业将持续
运行
MPI任务,以利用可用的资源。matlab
进程</e
浏览 23
提问于2017-06-18
得票数 4
1
回答
-n与-np的差异?
mpi
、
mpiexec
我是MPI世界的新手,有一个问题让我很烦。-n和-np的真正区别是什么?
浏览 6
提问于2016-12-08
得票数 7
回答已采纳
1
回答
在
SLURM
中
运行
多
文件
程序
slurm
到目前为止,所有的示例/教程都在讨论
如何
在集群上多次执行一行代码、单个python脚本或单个可执行文件,以获取不同类型的输入等。
在
我的例子
中
,我有一个名为main.py的主python脚本,它
使用
了几个子目录
中
的模块,还有一个子目录,其中包含要
使用
的共享C库。如果我只告诉
slurm
执行main.py,比如说,
使用
以下脚本:python main.py 我假设当
浏览 6
提问于2018-02-09
得票数 2
回答已采纳
2
回答
如何
从Java启动独立的、并发
运行
的Python
进程
java
、
python
、
concurrency
我有一个多线程Java应用
程序
,它通过Runtime.exec()调用Python
程序
。这可以很好地工作。现在,我希望每个Java-Thread都能启动自己的Python
进程
来实现并发。在此过程
中
,我遇到了这样一个问题:所有Python
进程
似乎都将自己限制
在
单个CPU上,因此每个
进程
只
使用
一部分CPU来
运行
。
在
top
中
,我可以看到我的n Python
进程
。对于n=1,该
进程
浏览 92
提问于2020-04-06
得票数 1
回答已采纳
1
回答
如何
根据传递给
程序
的参数来设置
slurm
中
每个节点的任务数?
c
、
mpi
、
slurm
我希望将每个节点的任务数量设置为
slurm
中
的变量,例如:#SBATCH -n任务-每个节点=s*2;(s是将每个节点作为参数传递给我的
程序
的每个节点的套接字数)。< 3)fprintf(stderr, "Usage: mpiexec program <#sockets>\n");}bash脚本(
Slurm
但是
如何
根据传递给我的
程序
的参数来设置它呢?如果能提供任何帮助,我将不胜感激。
浏览 2
提问于2016-03-30
得票数 2
回答已采纳
1
回答
使用
Slurm
运行
一个
在
HPC上调用大量终端命令的Python文件的正确方法是什么?
python
、
mpi
、
slurm
、
hpc
、
singularity-container
我
使用
的HPC要求我
使用
Slurm
在
计算机上
运行
程序
。目前,我正在我的笔记本电脑上本地
运行
一个Python脚本,它在循环中调用了一堆bash命令。MPI
运行
的
程序
。现在,我想在HPC上做一些类似的事情,但是
使用
奇点和
Slurm
。我的困惑如下。假设我调用了上面的Python script.py。那我有
两个
选择。保存在文件
中
,然后
使用
srun pyt
浏览 6
提问于2022-04-21
得票数 1
2
回答
任务工作者被困在
SLURM
队列
中
,直到主任务到达墙面时间才会开始
dask
、
slurm
、
dask-jobqueue
最近,我一直
在
尝试用Dask
在
一个
使用
SLURM
调度器的HPC集群上做一些机器学习工作。重要的是,在这个集群上,
SLURM
被配置为每个作业24小时的硬墙时间限制。最初,我只
使用
一个worker来
运行
代码,但是我的作业内存不足。我试图增加工作
进程
的数量(因此,也增加了请求节点的数量),但工作
进程
被困在
SLURM
队列
中
(原因是这种队列被标记为“优先级”)。考虑到问题可能是我请求了太多的
SLURM
浏览 62
提问于2021-09-13
得票数 0
回答已采纳
2
回答
Python等
Slurm
作业?
python
、
slurm
我有一个python脚本,它应该为要调用的外部
程序
生成大量输入。对外部
程序
的调用将通过
slurm
进行。我想让我的脚本等待所有生成的对外部
程序
的调用完成(不是
slurm
命令,外部
程序
的实际执行),然后解析外部
程序
生成的输出,对数据做一些处理。 我尝试了子
进程
调用,但它只等待
slurm
slurm
命令。
浏览 0
提问于2018-08-14
得票数 10
回答已采纳
2
回答
slurm
systemd wait nfs挂载所有文件夹
centos
、
systemd
、
nfs
、
slurm
我
使用
slurm
,我想让我的守护
进程
slurmd
在
系统中等待nfs挂载。LimitNOFILE=51200LimitSTACK=infinity WantedBy=multi-user.target 我想让我的服务
在
nfs完全组装好的时候
运行
。因为我需要
slurm
在
/nfs/
slurm
文件夹
中
写入文件,所以当centos启动和sl
浏览 67
提问于2018-01-29
得票数 1
2
回答
slurm
集群的最小计算机数是多少?
cluster-computing
、
slurm
我想设置一个。我至少需要多少台机器?我可以从两台机器开始吗(一台是客户端,另一台是客户机和服务器)?
浏览 4
提问于2014-12-29
得票数 3
回答已采纳
1
回答
使用
SLURM
运行
TCP客户端、服务器
docker
、
tcp
、
slurm
我有一个Docker镜像,需要在没有管理员权限的环境
中
运行
,
使用
RHEL
中
的
Slurm
17.11.8。我正在
使用
udocker来
运行
容器。在这个容器
中
,有
两个
应用
程序
需要
运行
:2可执行文件(TCP服务器) 因此,1和2需要一起
运行
,并且它们还共享一些公共文件。通常,我
在
不同的终端
中</
浏览 1
提问于2019-01-24
得票数 0
1
回答
理解
如何
在
Slurm
上提交并行计算作业
parallel-processing
、
simulation
、
slurm
我正在
使用
一种名为IAMR的流体求解器,我正试图通过我的学校集群使它执行得更快。我有添加节点和指定任务的选项,但我不知道模拟
运行
的区别是什么。我正在尝试呈现一个模拟,到目前为止,以下
slurm
脚本已经工作了:#!
在
IAMR指南中,它规定:对于MPI构建,可以
使用
以下方式并行
运行
: mpiexec -n 4 .我问了一位朋友,他们说:通常“任务”意味着"MPI
进程
“,所以如果您将问题分解成4个网格,那
浏览 0
提问于2020-11-05
得票数 1
回答已采纳
1
回答
为什么反复叫喊“贫民窟里的尖叫声”会让人皱眉头?
cluster-computing
、
slurm
、
sungridengine
、
lsf
为什么不建议
在
循环中
运行
squeue以避免重载
Slurm
,但是对于来自LSF的bjobs工具或来自SGE的qstat却没有提到这样的限制?如果来自squeue或其他
Slurm
客户端命令(将远程过程调用发送到slurmctld守护
进程
)的调用立即进入,则可能导致slurmctld守护
进程
的性能下降,可能导致拒绝服务。不要
运行
squeue或其他
Slurm
客户端命令,这些命令从shell脚本或其他
程序
中
的循环中向slurm
浏览 4
提问于2020-06-22
得票数 5
回答已采纳
1
回答
SLURM
上的多线程
linux
、
perl
、
parallel-processing
、
fork
、
slurm
我有一个Perl脚本,它
使用
模块进行分叉。如果我
使用
一个分叉的脚本,那么我是否只能
使用
SLURM
浏览 2
提问于2015-07-08
得票数 5
回答已采纳
1
回答
IIS
进程
回收
c#
、
asp.net-mvc
、
iis
、
application-pool
、
recycle
我读过,它提到了一些关于IIS
进程
回收的内容,结果是
多
实例的出现:
在
多
实例
中
,一个
进程
的
两个
或多个实例同时
运行
.根据应用
程序
池的配置方式,可以
运行
一个工作
进程
的多个实例,每个实例可能加载和
运行
相同的应用<
浏览 2
提问于2012-11-02
得票数 0
回答已采纳
1
回答
是否有可能,以及
如何
从
slurm
中
获得我的mpi作业
运行
的核心列表?
mpi
、
cluster-computing
、
hpc
、
slurm
问题是:是否有可能,如果是的话,
如何
获得我的mpi工作
在
特定时刻
运行
的核心列表?很容易列出任务分配到的节点,但经过几个小时的互联网调查,我开始怀疑
slurm
以任何方式公开了核心列表(为什么不困难呢?)问题是,我想再次检查我正在处理的集群是否真的像我要求的那样
在
节点、核心(如果可能的话,还有套接字)上传播我的工作
进程
(如果你愿意的话,可以叫我偏执)。请注意,hwloc不是对我的问题的回答,我问是否有可能从
slurm
,而不是从我的
程序
内部获得这些信息(如果
浏览 0
提问于2017-06-16
得票数 0
回答已采纳
1
回答
如何
使用
Slurm
通过concurrent.futures
运行
Python并行
程序
?
python
、
pool
、
slurm
、
concurrent.futures
我想
使用
hpc来
运行
我的代码,所以我
使用
concurrent.futures模块
运行
了test.py。我有3个节点,每个节点有24个核心,每个核心有
两个
线程。我想
运行
72个内核(144个线程)一次,但我的代码
运行
144次。f'Finished in {round (end - start,2)} second(s)')sbatch -N 3 -n 72 python3 test.py 我
使用
命令
浏览 10
提问于2021-07-31
得票数 1
2
回答
登录节点
如何
与
slurm
集群
中
的计算节点通信?
python
、
slurm
我刚刚开始
使用
与一起
运行
的计算集群。我很好奇计算节点在计算时
如何
与登录节点通信,因为即将
运行
的脚本与脚本可能读取的其他文件一起存储
在
登录节点中。例如,
在
工作字典
中
,浮动列表以可以用pickle加载的格式存储。我希望
在
计算节点上
运行
的脚本如下所示:with open('data_list.db', 'rb') as source_file: data_list
浏览 1
提问于2018-12-05
得票数 2
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
PyTorch 并行训练 DistributedDataParallel完整代码示例
进程、线程、协程
当你在 Linux 上启动一个进程时会发生什么?
高性能服务器架构思路三:分布式系统概念
如何优雅的关闭容器
热门
标签
更多标签
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
活动推荐
运营活动
广告
关闭
领券