腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
在
HPC
slurm
中
并行
化
bash
脚本
bash
、
parallel-processing
、
hpc
、
slurm
我有一个这样的文件:
bash
scripts/1-Call_HC.sh Uni_Mont_1_3 /home/db/fagiolo/config_fagiolo_Pvulgaris.sh > logs/HC_Uni_Mont_1_3.e 2> logs/HC_Uni_Mont_1_3.o
bash
scripts/1-Call_HC.sh Uni_Mont_27_1 /home/db/fagiolo2 /home/d
浏览 25
提问于2021-03-31
得票数 1
回答已采纳
2
回答
slurm
-
并行
运行多个R
脚本
r
、
parallel-processing
、
batch-processing
、
slurm
假设我有10个.R
脚本
(或任务),我希望使用一个
HPC
集群同时运行这些
脚本
。下面是一个用于运行单个job.sh
脚本
的.R
脚本
的示例: #!/
浏览 30
提问于2019-12-17
得票数 2
2
回答
如何配置batchscript使R
脚本
与future.batchtools (
SLURM
)
并行
化
r
、
parallel-processing
、
future
、
hpc
、
slurm
我试图使用future.batchtools包在
SLURM
HPC
上
并行
化
一个R文件。当
脚本
在
多个节点上执行时,它只使用1个CPU,而不是12个可用的CPU。我的包含配置的
bash
文件如下:#SBATCH --nodes=2
在
R
中
,我使用了foreach循环:cr
浏览 0
提问于2019-07-26
得票数 5
1
回答
Slurm
:使用多个节点的核心进行R
并行
化
r
、
parallel-processing
、
hpc
、
slurm
我想在
HPC
上使用
Slurm
调度程序
并行
一个R
脚本
。每个计算节点有16个核心(32个线程)。我将R
脚本
传递给
Slurm
,配置如下,使用作为
SLURM
的接口。
浏览 0
提问于2019-02-27
得票数 3
回答已采纳
2
回答
,让#SBATCH -数组读取txt文件的行数
arrays
、
jobs
、
slurm
、
hpc
我有下面的
slurm
脚本
(script.sh),它将与#SBATCH --array=0-24
并行
运行在
HPC
25作业上。每个作业将从file.txt
中
获取一个变量,并将其用作$VAR变量。#SBATCH --job-name test#SBATCH --time 00-05:00#SBATCH--error err #SBATCH --array=0-24
浏览 3
提问于2022-01-16
得票数 1
1
回答
防止
Slurm
用户
在
自己的工作上运行scancel
bash
、
slurm
、
hpc
在
安装
Slurm
的
HPC
设置
中
,在用户使用ssh登录之后,将执行一个
脚本
,其中使用带有交互式
bash
的srun提交作业。
脚本
放在.profile上,用户不能修改它。这是
bash
脚本
文件的内容。srun -A <ACCOUNT_NAME> -p --mem=< MEMORY> -time=HH:MM:SS -N <NUM_NODES> -gres=GPU:<NUM_GPU>-pty
浏览 3
提问于2022-08-25
得票数 1
回答已采纳
2
回答
"#“(评论)是低俗的职位提交
slurm
这个问题与普林斯顿研究计算引入
SLURM
一文有关。例如,SBATCH
在
第一个#之后将被执行,而在第二个#之后的create
浏览 0
提问于2019-11-05
得票数 2
回答已采纳
1
回答
slurm
-数组两个变量
bash
、
slurm
、
hpc
我有下面的
bash
脚本
,它使用
slurm
在
HPC
上运行#SBATCH --array=0-9 VAR=${VARS[$
SLURM
_ARRAY_TASK_ID]}export VAR 上面的
bash
脚本
向
HPC
发送10个作业(#SBATCH --arr
浏览 0
提问于2022-05-27
得票数 1
1
回答
在
vim
中
突出显示:用注释分隔符和特殊字符串区分行
shell-script
、
shell
、
vim
、
syntax-highlighting
在
vim
中
突出显示:用注释分隔符和特殊字符串区分行
在
某些情况下,例如,对于
HPC
集群的
脚本
,当使用SGE、TORQUE或
Slurm
时,我们可以有一个shell
脚本
(如
bash
),它的注释行由#但网格命令用有什么简单的方法可以让
bash
使用相同的高亮显示,但不将#SomeString视为评论呢?
浏览 0
提问于2018-06-28
得票数 2
回答已采纳
1
回答
SLURM
bash
脚本
的
并行
化
和资源分配
r
、
parallel-processing
、
slurm
我有可能在
HPC
环境中进行处理,其中任务管理和资源分配由
SLURM
批处理作业系统控制。然而,我还没有找到正确的配置,如何有效地利用R中分配的资源。我尝试使用R
中
未来包的计划(多核) -function为
SLURM
中
的一个任务分配20个CPU。
在
使用不同的CPU分配计数运行测试运行后,效率统计数据表明,在这些设置下,
在
测试运行期间只使用了一个分配的CPU。
Slurm
bash
脚本
如下所示 #!
脚本
分
浏览 41
提问于2020-10-26
得票数 1
回答已采纳
1
回答
如何在
并行
bash
中
运行这个简单的for循环?
r
、
bash
、
parallel-processing
、
slurm
我尝试使用不同的参数多次运行Rscript,并且我使用
bash
脚本
来运行它(当我试图
在
R
中
与foreach和doParallel
并行
运行时出错了,但这不是问题所在)。我的
脚本
,我打算用$sbatch script.sh (
在
高性能
hpc
上)调用它,如下所示:#SBATCH --mem=10G #SBATCH --mail-
浏览 1
提问于2021-06-03
得票数 0
回答已采纳
1
回答
使用在其他文件中找到的不同变量运行作业
脚本
bash
、
slurm
、
hpc
、
script
假设我
在
一个txt文件(var.txt)中有以下变量列表: AAABBB#SBATCH --job-name test#SBATCH --time 04:00#SBATCH--erro
浏览 18
提问于2021-11-16
得票数 1
回答已采纳
1
回答
slurm
-使用数组并限制同时运行的作业数,直到它们完成为止。
arrays
、
bash
、
slurm
、
job-scheduling
、
hpc
让我们假设使用
slurm
在
HPC
上运行以下
bash
脚本
(
bash
.sh):#SBATCH --job-name test#SBATCH --time 00-05:00#SBATCH--error errVAR=${VARS[$
浏览 13
提问于2022-01-14
得票数 0
回答已采纳
1
回答
工作人员初始
化
失败:
并行
处理
中
没有包
r
、
parallel-processing
、
spatial
、
slurm
我试图使用“focal_
hpc
”包
中
的R函数spatial.tools来
并行
R
中
的一个函数。我
在
SLURM
服务器上使用这个
脚本
。这是我运行的一个例子。f_mean = function(x){mean(x)} res_mean<-focal_
hpc
(x=raster,fun=f_mean,window_dimsworker initialization failed: there is no packag
浏览 6
提问于2020-01-08
得票数 0
1
回答
如何将
SLURM
脚本
的配置参数保存/记录到输出文件
中
?
hpc
、
slurm
我对
HPC
和
SLURM
特别陌生。下面是我用来运行python
脚本
的示例代码:#SBATCH --mem 0 #SBATCH --mail-type,它都会生成两个.err和.out文件,我只能将"run.sl“文件名和作业ID编码到这两个文件名
中
。但是,如何保存我在上面的
脚本
中</
浏览 5
提问于2021-04-11
得票数 2
回答已采纳
1
回答
SLURM
_ARRAY_TASK_ID为空
bash
、
slurm
我是
SLURM
和云计算方面的新手。这是
bash
代码。#SBATCH -
浏览 5
提问于2018-10-10
得票数 1
1
回答
使用更多cpu的
slurm
并行
化作业
slurm
、
hpc
我是
slurm
(和
HPC
)的新手,我已经写了一个我想要执行的
脚本
。我也非常小心,因为集群是一个不同的研究所,我不想因为我的愚蠢而破坏/破坏东西。我的
脚本
花费了很多时间,我想更快地完成它。我
在
wiki上看到,这些有时被称为令人尴尬的
并行
工作?(这意味着很容易将它们
并行
化
)。 我应该如何修改我的
脚本
,使它在使用更多的cpu时运行得更快?(运行i,j,k的任何特定值需要16分钟)。我可以做一些事情,让它取一些值i,j,k,然后<
浏览 65
提问于2021-07-17
得票数 1
回答已采纳
1
回答
无法
在
HPC
上的
SLURM
作业中使用Java
java
、
bash
、
slurm
、
hpc
、
sbatch
我试图
在
Linux上运行一个简单的
脚本
,
在
该
脚本
中
,我遍历了大量的RNA-seq文件,并希望调用基于fastQC的程序,它是基于每个文件的。
在
脚本
中
,我调用了一个运行Java程序的包装器
脚本
。/bin/
bash
#SBATCH -n 1#SBATCH --clusters=serial #SBATCH当我使
浏览 5
提问于2022-03-08
得票数 1
3
回答
不使用parfor循环运行多个matlab实例
matlab
、
parallel-processing
、
slurm
我知道,
在
使用
slurm
的集群
中
,我可以使用
slurm
数组,也就是说,我可以将其添加到matlab代码的开头:然后进行批量提交
浏览 38
提问于2022-08-07
得票数 4
回答已采纳
1
回答
如何在
HPC
上访问和查询mongodb
python
、
mongodb
、
pymongo
、
hpc
、
slurm
我想使用pymongo将查询
并行
化
到MongoDB数据库。我使用的是
HPC
系统,它使用
Slurm
作为工作负载管理器。我有一个
在
单个节点上运行良好的设置,但是当任务分散
在
多个节点上时会失败。我特别想知道如何在使用多个
HPC
节点时启动并连接到mongodb服务器。谢谢!一些额外的细节:numactl --interleave=all mongod --dbpath=databa
浏览 0
提问于2020-06-04
得票数 1
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
解锁多核处理器的力量:探索数据并行化在 Java 8 Stream 中的应用
HPC高性能计算知识:HPDA新兴技术分析
PyTorch 并行训练 DistributedDataParallel完整代码示例
/执行脚本区别
用户使用 Linux 的桥梁
热门
标签
更多标签
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM
活动推荐
运营活动
广告
关闭
领券