从PBS作业调用python脚本

文章/答案/技术大牛

发布

1回答

python、bash、delay、pbs、qsub

如何从pbs作业调用python脚本运行？更多细节:我目前正在处理以下形状的pbs文件(此部分工作正常，不应更改)：#PBS -N # work name #PBS -l #PBS -m cd $<e

浏览 22提问于2017-08-10得票数 1

1回答

在HPC集群上使用python代码(mpi4py)提交作业

cluster-computing、jobs、job-scheduling、hpc、mpi4py

codename.pyecho 'This job started on: ' `date` mpirun-np 48 python codename.py 我使用命令qsub jobname.pbs来提交作业。我不明白为什么代码应该在head节点上运行得

浏览 3提问于2017-05-25得票数 4

回答已采纳

2回答

Torque嵌套/连续qsub调用

linux、mpi、cluster-computing、qsub、torque

我有一个作业脚本compile.pbs，它运行在一个CPU上，并编译源代码来创建一个可执行文件。当我连续手动调用它们时，它们都很好地工作，但是我想让第一个脚本在第二个作业脚本结束之前调用它来自动化这个过程。是否有适当嵌套qsub调用或连续调用qsub调用的方法？目前，我的尝试是让第一个脚本在第二个脚本结束之前调用它，但是当我尝试从</em

浏览 5提问于2013-07-20得票数 0

回答已采纳

1回答

扭矩PBS与Python多处理

python、pbs、python-multiprocessing、torque

我有一个Python脚本，它在一个有512个CPU和4TB内存的服务器上运行。该脚本使用Python的Multiprocessing模块通过派生30个并行子进程来进行并行处理。我现在需要编写一个PBS脚本，以便从另一个服务器远程调用该脚本。我可以看到有两种方法: 1.保持脚本不变，然后使用qsub提交一个运行脚本的作业。然后脚本将使用多处理模块进行并行化。2.将<

浏览 1提问于2015-02-19得票数 1

1回答

如何打印作业运行的历史记录以及如何使用脚本名称作为PBS_JOBNAME？

pbs、qsub、torque

我有三个小问题：我想要有一种更好的方法来知道哪个作业脚本对应于哪个stderr和stdout。$PBS_JOBID )，但是6个月后，我将很难知道从哪个作业脚本生成stderr和stdout $PBS_JOBNAME.$PBS_JOBID。我正在考虑使用作业脚本名称作为stderr和stdout的前缀，这样我就可以很容易地将它们关联起来，但除了手动编辑脚本之外，是否有一些变量可以设置为自动执行？$

浏览 6提问于2016-08-03得票数 0

2回答

我是否可以使用mpiexec来运行同一个可执行文件，每次对该可执行文件使用不同的命令行参数？

mpi、spmd

我需要多次运行相同的训练脚本，每次运行都使用不同的命令行参数传递脚本。我是否可以通过使用mpiexec来实现这一点，以便我可以使用不同的输入并行训练多个模型？python train.py arg > log.out # arg is the argument that differs for each nodempiexec train.py

浏览 6提问于2018-10-01得票数 0

2回答

如何判断bash或qsub是否调用了PBS脚本？

bash、pbs

我有一个处理多个环境变量的PBS脚本。PBS是bash的包装器，它将bash脚本发送到作业调度队列。处理后的变量形成一个运行的命令。用bash编写PBS脚本，并在bash注释中为作业调度程序提供附加信息。如何以编程方式确定我的脚本是由qsub (解释PBS脚本的命令)调用的，还是由bash调用的？如果脚本是在bash下运行的，我想把这个

浏览 4提问于2014-06-02得票数 2

回答已采纳

1回答

如何正确地指向PBS脚本中的数组/作业文件？

python、unix、pbs

通过在PSB脚本中设置数组作业，我尝试在1000个数据文件上运行1000个python脚本。每个脚本显式调用一个特定的数据文件；它是硬连接的。这里很有挑战性，也没有必要解释为什么python脚本和数据文件需要分开维护。无论如何，这是我现在所拥有的： #

浏览 5提问于2018-05-23得票数 0

3回答

直接将参数传递给pbs脚本

bash、unix、pbs、qsub

有没有一种方法可以在提交作业之前直接将参数传递给.pbs脚本？我需要循环遍历由不同数字表示的文件列表，并应用脚本来分析每个文件。#!/bin/sh do qsub pass_test.pbs其中，pass_test.pbs是以下脚本： #

浏览 2提问于2012-04-11得票数 12

回答已采纳

2回答

如何使用Shell中的函数将批处理作业发送到PBS？

shell、batch-processing、jobs、pbs

我可以使用非交互式批处理作业和/或交互式批处理作业这两种方法向PBS提交作业。但是，我需要在函数中使用pbs命令。在另一个世界里，我需要这样的结构：pbs_setup () { #PBS -N $2 #PBS -l n

浏览 5提问于2015-06-03得票数 0

1回答

检查PBS作业调度程序上正在运行的脚本的路径

linux、unix、hpc、pbs

我想看看在我的HPC平台上运行的脚本在哪里。我知道我可以使用命令qsub获得作业的名称，它提示：是否有命令可以使用PBS命令(我也想知道如何使用find、cat和grep命令)

浏览 4提问于2020-01-05得票数 0

1回答

PBS上的qsub不提供输出

pbs、qsub

我正在尝试将python作业提交给PBS，并将打印出来的内容作为输出。一个简单的例子是：import timepbs提交文件job_test.pbs：python test.pyqsub job_test.pbs 由于这项工作非常容易，我将看到状态<

浏览 0提问于2017-07-28得票数 1

3回答

如何使用qsub实现java程序

java、hpc、qsub

我想在hpc中提交一个作业，该作业正在运行java应用程序。我编辑pbs_script文件如下：#/bin/sh #PBS -q序列#PBS -l nodes=1:ppn=4模块加载java-jdk/1.7.0-17 java myjavapp 我提交了作业$qsubpbs_script，但是作业返回一个错误:找不到或加载主类myjava。

浏览 0提问于2014-04-03得票数 1

1回答

为什么要为一项任务使用多种类型的shell？

linux、bash、ksh、csh

现在，我有一个基于Linux的HPC，它使用MPI和PBS来排队和运行作业。我继承的是动态构建PBS脚本并将其提交到队列的python脚本，但是在单个作业过程中，.sh、.csh和.ksh脚本会在不同的时间点被调用，并且大多数shell脚本都非常简单，通常少于10行。

浏览 1提问于2018-10-05得票数 0

2回答

PBS编程

scripting、job-scheduling、pbs、qsub、torque

关于PBS的一些简短而愚蠢的问题：qsub job_fileqsub job_a对于启动job_b，如果在job_a的结果完成之前就有了，那就太好了。

浏览 2提问于2010-03-03得票数 1

回答已采纳

2回答

链式数组PBS作业

arrays、bash、hpc、qsub、pbs

我试图使用PBS高性能计算机作业调度程序链接两个计算作业。我的脚本如下： #!/bin/bash #PBS -q thin #PBS -l select=1:ncpus=1 #的脚本： #!cd $PBS_O_WOR

浏览 4提问于2017-06-28得票数 0

1回答

qsub作业数组，其中每个作业使用单个进程？

pbs、qsub、torque

我有一个作业脚本，开头有以下PBS规范：#PBS -l nodes=1:ppn=1 第一行说这是一个作业数组，作业索引从0到99。我希望每个单独的索引作业只使用一个节点和每个节点一个核心，因此我的第二行PBS。但我担心TORQUE qsub会将第二行解释为整个作业数组应该顺序地运行在单个核上。扭矩qsub如何解释PBS第二线？

浏览 0提问于2014-09-30得票数 1

回答已采纳

2回答

在PBS作业脚本中获取壁时

pbs

当向PBS队列系统提交作业脚本时，会自动或由用户指定壁时间，例如问题是这一次是否可以从作业脚本中访问。是否有环境变量或其他方法来获取此壁时间。最后，作业脚本应该不时地决定是否有足够的时间来做更多的工作，这样作业就不会被排队系统杀死。更新：read _ _ PBS_WA

浏览 5提问于2013-04-05得票数 7

1回答

在模拟文件排队时编辑它

pbs、qsub

假设我向PBS提交了一个文件(file1.pbs)，它就会排队。在这个文件中，我指的是计算机将运行的第二个文件(file2.namd)。然后，当file1.pbs排队时，我在file2.namd中做了一个重要的更改。保存file2.namd后，检查作业，它仍然是排队的(尚未运行)。我的问题是:更改是实现的，还是计算机已经读取了file2.namd，即使作业排队了？谢谢

浏览 5提问于2016-06-13得票数 0

回答已采纳

1回答

带有可变资源请求的PBS指令

shell、cluster-computing

通过在循环中调用qsub，我使用shell脚本在计算集群上启动几个作业。我使用循环为每个作业提供不同的起始值。我想通过在命令行运行时将一个数字传递给shell脚本来指定每个任务请求的核数。例如将启动每个节点请求8个核心的作业。我试着用#check that all input arguments are there#PBS</em

浏览 1提问于2017-12-01得票数 0

回答已采纳

点击加载更多