腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
在用于mpi
作业
的
节点
srun
上
运行
bash
脚本
bash
、
slurm
我可以使用slurm
批处理
脚本
和srun跨
多个
计算
节点
启动mpi
作业
。作为slurm
脚本
的
一部分,我希望启动一个shell
脚本
,该
脚本
在
作业
使用
的
节点
上
运行
,以收集有关在该
节点
上
运行
的
作业
任务
的
信息(使用top命令)。我希
浏览 0
提问于2020-04-14
得票数 0
1
回答
在
多个
节点
上
运行
包含
多个
作业
数组
的
批处理
脚本
slurm
我希望
在
多个
节点
上
运行
批处理
脚本
文件。
脚本
文件包括
多个
作业
的
数组
。我希望slurm
在
3个
节点
上
运行
每个
作业
。我试图给出这个代码,但slurm发出了这个警告: Warning: can't run 1 processes on 3 nodes, setting nnodes to 1
浏览 30
提问于2021-11-19
得票数 0
2
回答
PBS
批处理
系统是否跨
节点
移动
多个
串行
作业
?
pbs
、
torque
如果我需要“并行”
运行
多个
串行程序(因为问题简单但耗时--我需要为同一个程序读取许多不同
的
数据集),如果我只使用一个
节点
,那么解决方案就是简单
的
。我所做
的
就是
在
每个命令之后,例如在
作业
脚本
中,用一个符号和一个符号继续提交串行
作业
:./program2 &./program4 它自然会在不同
的
浏览 3
提问于2011-03-28
得票数 5
回答已采纳
1
回答
Spring batch可以
在
不同
的
JVM中并行执行
多个
步骤
java
、
spring-batch
Spring batch -需要帮助才能在
多个
节点
上
并行
运行
批处理
作业
的
独立步骤。一个spring
批处理
作业
(JobA),
包含
三个步骤:StepA(
在
compute1中)、StepB (
在
compute2中)和StepC StepA和StepB是独立
的
步骤和内存密集型
的
,因此不能在同一计算
节点
/JVM
上</em
浏览 11
提问于2020-10-22
得票数 1
1
回答
slurm
作业
阵列与
作业
步骤绩效
的
差异
parallel-processing
、
slurm
、
gnu-parallel
我
在
slurm中
运行
了一组并行
作业
(大约1000),每个任务都必须分配给一个CPU。每个Slurm
作业
可以
包含
多个
作业
步骤,而Slurm中用于管理
作业
步骤
的
开销要比单个
作业
低得多。
作业
数组
是管理具有相同资源需求
的
批处理
作业
集合
的
有效机制。这似乎意味着具有
多个
作业
步骤
浏览 4
提问于2019-07-25
得票数 4
回答已采纳
1
回答
python多处理
的
SLURM给出了不一致
的
结果
python
、
python-3.x
、
multiprocessing
、
slurm
这些
节点
是:Mon Oct 3 08:58:12 2016为了测试SLURM,我用python编写了一个带有多处理
的
小
脚本
p = multiprocessing.Pool(n_procs) list(p.imap_unordered(func, [i f
浏览 7
提问于2016-10-03
得票数 1
回答已采纳
2
回答
在
slum中使用--array参数
运行
并行
作业
slurm
我正在尝试学习slurm系统,但我在理解
上
遇到了一些问题。我正在尝试使用sbatch中
的
--array参数并行
运行
一系列
作业
。我希望
作业
分布
在
多个
节点
上
,但考虑到时间戳,它们似乎都在同一个
节点
上
运行
。我使用
的
sbatch命令:正在
运行
的</
浏览 10
提问于2015-02-13
得票数 0
3
回答
如何在Jenkins中将数据从Master复制到
多个
Slave
git
、
jenkins
、
jenkins-plugins
、
master-slave
我正在尝试从jenkins主服务器
的
git存储库中提取数据(文件),然后将这些文件推送到
多个
从机。我正在使用复制工件到从机插件()将数据从主服务器复制到slave.But。我无法找到如何指定必须将文件复制到
的
从机
的
名称.Please帮助
浏览 0
提问于2015-04-17
得票数 1
1
回答
用降雪R初始化MPI簇
r
、
parallel-processing
、
cluster-computing
、
openmpi
、
snowfall
我一直试图
在
大学
的
集群
上
运行
Rmpi和snowfall,但是由于某种原因,无论分配了多少个计算
节点
,我
的
snowfall初始化都只
在
一个
节点
上
运行
。下面是我初始化它
的
方法:有什么想法吗?我会提供必要
的
澄清。
浏览 2
提问于2013-07-27
得票数 7
回答已采纳
1
回答
一个输入文件来产生
多个
输出文件
slurm
、
snakemake
这是一种反向
的
snakemake方法,它
的
主要范式是“一个
作业
->一个输出”,但是我需要在slurm
作业
提交集群中
的
相同输入矩阵
上
并行地
运行
很多次
脚本
。我怎样才能做到这一点?我试着指定
多个
线程、
多个
节点
,每次都指示每个任务一个cpu,但它从不提交
多个
作业
的
数组
,只是一个
作业
的
数组
浏览 7
提问于2022-02-28
得票数 0
3
回答
如果浏览器关闭,
批处理
API将不会继续
运行
,对吗?一批能用钻子
运行
吗?
migrations
、
drush
、
batch-operations
一旦浏览器关闭,
批处理
API能否继续
运行
?如果没有,那么我可以用Drush
运行
一批吗?我有大量
的
数据要迁移,我真的没有时间等待它在本地机器
上
一次导入每一项。目前,我
的
批处理
过程设置可以导入每个项目(组、用户、博客、文件等),每个op调用一个。但我要改变这种情况,每次通话做50到100次,以提高速度。但我昨晚只
在
我
的
小组
上
跑了,花了将近一个小时才跑了近800组。 这是从
多个
网站到一个统一站点
的
浏览 0
提问于2011-08-03
得票数 2
回答已采纳
2
回答
如何配置batchscript使R
脚本
与future.batchtools (SLURM)并行化
r
、
parallel-processing
、
future
、
hpc
、
slurm
我试图使用future.batchtools包在SLURM HPC
上
并行化一个R文件。当
脚本
在
多个
节点
上
执行时,它只使用1个CPU,而不是12个可用
的
CPU。到目前为止,我尝试了不同
的
配置(c.f.附加
的
代码),这不会导致预期
的
结果。我
的
包含
配置
的
bash文件如下:#SBATCH --nodes=2 #SBATCH -
浏览 0
提问于2019-07-26
得票数 5
1
回答
为什么最后一个
作业
在
DolphinDB中不起作用
database
、
opc
、
opc-ua
、
dolphindb
我正在使用DolphinDB中
的
OPC插件。我
在
MatrikonOPC服务器中创建标签 loadPlugin("D:/OPCdev/PluginOPC.txt") submitJob("i9", "subtestMoney" , suba, ".testMoney", callback1{t9}) getRecentJobs
浏览 5
提问于2019-07-28
得票数 0
2
回答
我想查找Jenkins
作业
的
进程id。
bash
、
shell
、
ubuntu
、
jenkins
我想找到一种方法来找到Jenkins
作业
的
进程id,这样如果
作业
挂起,我就可以终止该进程。Jenkins实例
在
Ubuntu
上
。有时,我们无法通过Jenkins界面停止
作业
。如果我
运行
的
Jenkins
作业
包含
一个简单
的
shell
脚本
,我可以通过终止进程id来停止
作业
,在这个
脚本
中,我手动收集进程id,例如: #!,我可以
运行
sud
浏览 4
提问于2016-04-26
得票数 1
3
回答
Slurm不能
运行
多个
sbatch任务
linux
、
slurm
我已经
在
2
节点
集群
上
安装了Slurm。两个
节点
都是计算
节点
,其中一个也是控制器。我能够一次成功地
运行
多个
作业
的
srun。我正在
运行
GPU
作业
,并已确认可以使用srun
在
多个
GPU
上
运行
多个
作业
,最多可达系统中
的
GPU数量。但是,当我尝试使用相同
的
测试文件<e
浏览 79
提问于2019-02-14
得票数 0
1
回答
在
airflow中,是否可以
在
多个
工作
节点
上
运行
单个任务,即以分布式方式
运行
任务
kubernetes
、
celery
、
airflow
我正在使用spring batch创建
批处理
作业
的
工作流。单个
批处理
作业
需要2小时才能完成(要处理
的
数据约为100万),因此决定以分布式方式
运行
,其中一个任务将分布
在
多个
工作
节点
上
,这样它就可以
在
较短
的
时间内执行。工作流中
的
其他
作业
(都是分布式
的
)需要一个接一个地按顺序
运行
。
作业</e
浏览 88
提问于2021-11-23
得票数 0
回答已采纳
1
回答
Slurm并行“步骤”:25个独立
运行
,每个cpu使用一个cpu,最多同时
运行
5个
parallel-processing
、
slurm
现在,即使
在
阅读Slurm文档之后,我也不知道如何并行化. 我想要实现
的
是--我认为--“令人尴尬
的
平行”:
运行
一个程序
的
多个
独立实例(具有不同
的
输入)。我想要
的
是:请求5个CPU,可能在不同
的
节点
上
;每个CPU
运行
具有特定输入
的
单点程序。一旦释放了一个CPU,就启动队列中
的
下一个输入。使用
批处理
脚本
,我尝试了
浏览 9
提问于2022-05-12
得票数 0
4
回答
如何在不同参数
的
多个
平台上执行单个hudson
作业
jenkins
、
continuous-integration
、
hudson
、
jenkins-plugins
、
hudson-plugins
我只有一个hudson
作业
&我想在多台机器
上
执行这个hudson
作业
,现在我必须知道我可以通过将我
的
hudson
作业
创建为“多配置
作业
”来做到这一点,所以现在有了一个hudson
作业
就能够
在
多个
平台上同时触发它现在,我确实有另一个要求,我想触发一个哈德逊
作业
在
多个
平台上与每个平台
的
不同参数,这些参数是像用户名,password...which我想有不同<e
浏览 9
提问于2014-04-28
得票数 1
2
回答
Slurm -
在
同一个
节点
上
运行
多个
数组
?
matlab
、
slurm
、
hpc
我正在一个slurm集群
上
运行
大约200个matlab代码。这些代码不是并行化
的
,而是使用密集
的
矢量化符号。因此,每个代码使用大约5-6个核心
的
处理能力。#!module load Matlab/R2021a现在,上面的代码将为每个matlab任务分配一个集群
节点
(
浏览 11
提问于2022-01-31
得票数 1
回答已采纳
4
回答
Azure自动化用例
azure
、
azure-devops
、
automation
、
azure-functions
我有一个特定
的
脚本
(python),它需要自动化,这是相对内存和CPU密集型
的
。对于一个月
的
过程,它
运行
了300次,每一次它需要10-24小时来完成,根据输入。顺便说一句,每次跑步都是独立
的
。创建一个完整设置
的
对接映像(python
脚本
、fluent配置、p
浏览 10
提问于2021-12-09
得票数 1
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
24 PBS 高性能集群作业调度系统
干货分享,UE4脚本操作的几大基本步骤
YARN 在字节跳动的优化与实践
大数据开发之用CombineFileInputFormat优化Hadoop小文件
Azkaban是否支持分布式执行?
热门
标签
更多标签
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM
活动推荐
运营活动
广告
关闭
领券