腾讯云
开发者社区
文档
建议反馈
控制台
登录/注册
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
使用
SLURM
和
MPI
(
4PY
):
无法
分配
请求
的
资源
、
、
、
、
SLURM
的
使用
版本是17.11.9。我测试了
SLURM
的
一些特性,例如作业数组和它
的
任务部署。但是,我希望与发送到集群中每个节点或CPU
的
不同任务进行通信,以便收集其结果(无磁盘I/O)。出于这个原因,我研究了如何
使用
消息队列、
MPI
或OpenMPI来管理它。(任何其他实现策略,作为建议或建议,都是非常感谢
的
。)我用一个简单
的
Python代码片段测试了
MPI
,启动了两个
浏览 126
提问于2019-06-10
得票数 2
回答已采纳
2
回答
Slurm
的
srun比mpirun慢
、
如果我在下面的代码中将'mpirun‘替换为'srun’,我
的
mpi
+openmp作业运行速度会慢3倍!##SBATCH --output=./res_locstack4d_
mpi
.txt#SBATCH --ntasks=3#SBATCH --ntasks-per-node=1 #Process Manager:
浏览 18
提问于2015-08-06
得票数 2
1
回答
mpirun是否需要指定-np?
、
、
、
、
/c_or_python_script 但是,在具有PBS作业提交队列
的
集群上(我不知道这种类型
的
提交被称为什么),示例脚本不需要这个-np N参数!我还是会给你
的
。有什么关系?/bin/sh#PBS -N
mpi
_job#PBS -A etc#PBS/test_
mpi
.exe 如果我更改为mpirun -np 256 ./te
浏览 493
提问于2021-02-03
得票数 0
回答已采纳
1
回答
使用
SLURM
的
非对称混合映射
、
、
、
、
我想用
slurm
做一个非对称
的
混合映射。#SBATCH --nodes 3#SBATCH --cpus-per-task 32 在此配置中,我为每个
mpi
task
分配
了但是节点0
浏览 3
提问于2017-12-06
得票数 2
1
回答
MPI
和
Slurm
概念
、
在理解以下基本概念方面,我遇到了一些困难: 我可以跨多个分区运行
mpi
作业吗?
浏览 9
提问于2015-10-04
得票数 4
回答已采纳
1
回答
只有当两人都获得
分配
的
资源
时,才运行2
slurm
作业
、
、
、
第二个被提交以获得接下来
的
4个GPU(在另一个节点上)。如何确保这两个作业同时运行,从而最终实现同步(Pytorch DPP)。有一个额外
的
脚本来检查可用
的
资源
是可行
的
,但是其他作业可能有优先级,因为它们在队列中,而不是等待. 我
使用
的
特定分区不允许直接
请求
两个节点。我也知道--dependency标志,但是这只能用作第一个作业
的
完成检查。
浏览 31
提问于2022-06-27
得票数 0
1
回答
主工人系统中支持
MPI
应用程序
的
HPC
SLURM
和
批处理调用
、
、
、
、
我正试图在HPC中与
资源
管理器
SLURM
一起实现某种类型
的
主工作人员系统,我正在寻求如何实现这样一个系统
的
建议。我
的
想法是自动取款机(另见下文编辑):我正在尝试
的
是: 我不确定
MPI</
浏览 4
提问于2021-02-16
得票数 2
回答已采纳
2
回答
使用
slurm
启动OpenMPI/pthread应用程序
、
在诸如XE6之类
的
Cray计算机上,当通过aprun启动混合
MPI
/pthread应用程序时,有一个深度参数,它指示每个进程可以产生
的
线程数。在
使用
Slurm
的
srun启动OpenMPI/pthread应用程序时,有没有类似的选项?这台机器是带有nehalem处理器
和
IB互连
的
通用HP集群。如果线程支持级别仅为
MPI
_THREAD_FUNNELED,这有关系吗?
浏览 1
提问于2011-09-23
得票数 1
1
回答
C++:奇怪
的
指针损坏错误
、
、
、
我有以下情况:我编写了一些简短
的
MPI
测试代码,以便找出在我
的
代码中,发送
和
接收操作
的
哪个组合工作得最好。代码在我自己
的
计算机上运行得非常好(用8个进程进行测试),但是当我运行我正在处理
的
集群之一时,我得到了一个巨大
的
错误输出,输出是一个损坏
的
或双释放
的
指针,这是输出: 我在代码中所做
的
是:我调用我
的
通信功能我发现,错误总是发生在相同
的
迭代中(大约在6K左右)。然
浏览 1
提问于2013-04-22
得票数 6
回答已采纳
1
回答
MPI
定位新进程
的
位置?
、
我在一个有36个cpus
和
72个线程(超线程)
的
节点上
使用
mpirun运行了几个进程。当我
使用
不同
的
mpirun调用(每个都是-np 2)运行它们时,它们在相同
的
cpus中运行,降低了进程
的
效率。
使用
ps命令,我可以看到当我发送7调用,所有进程都在4个线程中运行。有人知道怎么解决这个问题吗?我希望将进程分布在所有线程上,以最大限度提高效率。
浏览 11
提问于2021-03-09
得票数 1
回答已采纳
1
回答
mpirun
的
奇怪行为,在启动2个进程时总是严格绑定到内核0
和
1
、
最近,一位同事观察到了一些奇怪
的
行为,我已经能够重现它。我们有一台用于模拟
的
计算机,它由两个Xeon处理器驱动,每个处理器有18个内核,让我们可以
使用
36个内核。当我们
使用
2个进程启动一个应用程序时,
mpi
总是绑定到套接字0
的
内核0
和
1上。因此,如果我们分别
使用
2个进程运行4个模拟,则内核0
和
1在每个进程
的
CPU
使用
率为25%
的
情况下执行所有工作。请参阅下面报告
的
浏览 4
提问于2017-12-14
得票数 2
1
回答
Slurm
:为什么我们需要在Sbatch脚本文件中运行?
我是
Slurm
的
新手,我也发现了有关这个话题
的
相关问题。然而,我仍然对如何
使用
srun
的
几点感到困惑。根据正式文档,srun通常首先
分配
资源
,然后运行并行作业。因为S批处理只负责
分配
资源
,而不是执行程序。#SBATCH -n 20#SBATCH -o myoutputfile.txt module load
mpi
浏览 3
提问于2020-10-13
得票数 1
回答已采纳
1
回答
mpirun是否知道所
请求
的
核数目是否大于或小于节点中可用
的
核数?
、
、
在mpirun
和
srun之间,我正在考虑哪个进程启动程序在优化
资源
方面更好。假设集群中
的
一个计算节点总共有16个核心,我有一个作业,我想
使用
10个进程来运行。如果我
使用
启动它,它是否能够检测到我
的
请求
的
核心数量少于每个节点中可用
的
核数,并且将自动从单个节点
分配
所有10个核?与
使用
srun指定节点数量
的
-N <number>不同,mpirun似乎没有这样
的</em
浏览 5
提问于2020-10-28
得票数 0
2
回答
如何在
Slurm
下运行Open
、
、
我
无法
通过一个Open
MPI
在
Slurm
下运行
Slurm
-script。 但是,如果通过script执行相同
的
操作,mpirun hostname将返回空字符串,因此
无法
运行mpi
浏览 2
提问于2019-03-20
得票数 4
1
回答
使用
mpi
4py时并行启动子进程时减速
、
、
使用
mpi
4py,我运行了一个python程序,它并行地启动多个fortran进程,从
SLURM
脚本开始
使用
(例如):但是已经注意到,myprog.py运行myprog.py (以下代码仅显示程序
的
mpi
部分):size = comm.Get_size() data但是,对于单处理器
和
四个处理器,我希
浏览 1
提问于2018-08-29
得票数 1
回答已采纳
1
回答
斯劳姆:为什么要在赛巴奇里面
使用
srun?
、
在批处理脚本中,您可以直接启动程序或脚本(例如,可执行文件myapp),但在许多教程中,人们
使用
srun myapp。 尽管阅读了关于这个主题
的
一些文档,但我不理解其中
的
区别以及何时
使用
这些语法。我希望这个问题足够精确(第一个问题),谢谢你
的
回答。
浏览 0
提问于2018-12-05
得票数 27
回答已采纳
1
回答
在已经登录
的
节点上运行
slurm
作业
是否可以在已经登录到集群节点上
的
节点上运行
slurm
作业?假设我已经登录了节点:casade02这样我就不用排队了。如果这很重要,我可以将ssh转换到特定
的
节点中,比如ssh user@casacde01。然后,我可以登录到我指定为“head”节点
的
节点,然后说,‘好
的
,在casacde02
和
casacde03上运行这段代码吗?’ 我在看这个stackexchange帖子,它给出了S批处理
的
-w标志。如果我登录到一个单独
的
浏览 0
提问于2022-10-03
得票数 1
5
回答
如何在不可靠
的
集群上分发程序?
、
、
我要寻找
的
是以下任何/全部内容: 如果您给出了一个软件
的
例子,那么请告诉我们上面的功能有哪些。
浏览 15
提问于2009-05-30
得票数 3
1
回答
Cgroup
和
Slurm
、
我知道如何
使用
cgroups(
分配
内存、cpu
使用
率...)
和
slurm
(提交、挂起/停止作业)。我想知道cgroups是如何
使用
slurm
的
。当我向
slurm
提交作业时,我可以在哪里修复内存或CPU
使用
率?我阅读了
Slurm
Schedmd()
的
文档,但它没有给出很好
的
解释。也许这是对我
的
误解。谁能解释一下如何
使用
<
浏览 4
提问于2017-05-22
得票数 3
1
回答
理解如何在
Slurm
上提交并行计算作业
、
、
我正在
使用
一种名为IAMR
的
流体求解器,我正试图通过我
的
学校集群使它执行得更快。我有添加节点
和
指定任务
的
选项,但我不知道模拟运行
的
区别是什么。/amr3d.gnu.
MPI
.OMP.ex inputs.3d.rt除了不知道要
请求
多少节点
和
任务之外,我不确定我是否正确地提交了任务。在IAMR指南中,它规定:对于
MPI
构建,可以
使用
浏览 0
提问于2020-11-05
得票数 1
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
MPI如何对Lustre/GPFS文件系统优化?
PyTorch 并行训练 DistributedDataParallel完整代码示例
在 Kubernetes 上扩展 TensorFlow 模型
集群管理系统 Mesos 的设计原理 · NSDI '11
HTTP状态码
热门
标签
更多标签
云服务器
ICP备案
对象存储
腾讯会议
云直播
活动推荐
运营活动
广告
关闭
领券