具有带有输入的作业脚本的Qsub
Qsub是一个作业调度系统中的命令，用于将作业提交给集群进行执行。它是基于Sun Grid Engine（SGE）开发的，用于管理和调度计算集群中的作业。
Qsub的作用是将作业脚本提交给集群进行执行，它接受一个作业脚本文件作为输入，并将作业提交到计算集群中的可用计算节点上执行。作业脚本文件通常包含了作业的执行命令、参数设置、环境变量等信息。
Qsub的优势在于它能够有效地管理和调度大规模的计算作业，提高计算资源的利用率和作业的执行效率。它可以根据作业的优先级、资源需求、作业队列等条件进行作业调度，确保作业按照预期的顺序和要求执行。
Qsub的应用场景包括但不限于科学计算、数据分析、模拟仿真等需要大规模计算资源的领域。例如，在科学研究中，研究人员可以使用Qsub将复杂的计算任务提交到集群中进行并行计算，加快研究进程。在工程领域，Qsub可以用于模拟仿真、优化设计等需要大量计算资源的任务。
对于腾讯云用户，推荐使用腾讯云的批量计算服务（BatchCompute）来替代Qsub。腾讯云的批量计算服务提供了类似于Qsub的功能，可以方便地将作业提交到腾讯云的计算集群中执行。您可以通过腾讯云的批量计算服务页面了解更多信息：https://cloud.tencent.com/product/bc
相关·内容
我使用PBS qsub在集群上运行一个脚本，该脚本必须输出一个带有批处理作业提交时间的报告文件。
批作业提交时间是它加入PBS批作业的时间。
我检查了所有PBS的默认变量，但没有发现任何与作业提交时间有关的内容。
我想知道如何在不创建新的输入变量的情况下得到这一次。
谢谢。
浏览 2提问于2013-06-21得票数 1
回答已采纳
2回答
自动通知qsub作业完成状态
、、、、
我有一个shell脚本，可以从中调用其他五个脚本。第一个脚本在集群中创建了50个qsub作业。单个作业的执行时间从几分钟到一小时不等。我需要知道所有50个作业何时完成，因为在完成所有作业后，我需要运行第二个脚本。如何查看是否所有的qsub作业都完成了？一种可能的解决方案是使用无限循环，通过使用带有作业ID的qstate命令来检查作业状态。在这种情况下，我需要不断地检查作业状态。这不是一个很好的解决方案。有没有可能在执行后，qsub job会自动通知我。因此，我不需要频繁地监视作业状态。
浏览 3提问于2015-07-28得票数 1
我正在使用一个带有Torque/Maui系统的集群。我有一个bash脚本，它使用qsub命令提交一个作业，然后做几件事情，比如移动文件、编写ASCII文件以及检查我提交的作业的输出。对于这个输出，基本上，如果它包含数字1，则需要再次提交作业。如果与1不同，bash脚本会执行其他操作。
问题是qsub在后台运行，所有bash都是一次评估的。我想强迫qsub的行为很像awk，cat，排序等等.当脚本在这些命令完成后更进一步时--如果不是放在后台的话。
所以，我需要bash在第一个qsub停止，然后在qsub完成后继续运行，这意味着，当作业完成时。有办法这样做吗？它将类似于：
-sync y
浏览 9提问于2014-10-03得票数 5
具体来说，Cray需要嵌入在aprun请求中的特殊命令( qsub )才能在批处理节点上执行作业(Cray默认为在不使用aprun语法的登录/计算节点上运行)。当将qsub请求手动键到Cray超级计算机时，定向语法是：
qsub <qsub parameters> -V
aprun -n #CPUS /executable.exe param1 param2 ...
Ctrl-D
其中，用户在-V之后(在qsub语句中表示参数的通道)和在可执行/参数集之后提供“返回”。Ctrl-D终止输入并执行qsub/aprun命令。
问题是，在网络上描述了将Ctrl-D (简单地说是EOF)输
浏览 7提问于2016-11-11得票数 1
回答已采纳
我必须使用qsub (SGE)编写一个python脚本来提交作业。
我要执行的命令如下所示：
qsub -b y/usr/bin/l2prodfilein文件
如果L2prod是一个已编译的程序(二进制文件，这就是-b y选项的原因)，而filein/fileout只是带有输入/输出文件名称的字符串。如果我打开一个shell并键入前面的行，一切都进行得很好。
在我的python程序中：
...
args=['qsub -b y ', L2prod, filein, fileout]
log.info('executing: '+'
浏览 0提问于2019-03-19得票数 2
1回答
我有一个可执行文件，它接受一个输入文件，并一直像这样运行它，使用qsub作为作业提交给pbs：
qsub -q long path/to/runpp path/to/input.fa
我有一个脚本(runpp_multi.sh)让它在一个目录中的多个文件上运行：
for i in path/to/input/*.fa ; do path/to/runpp $i ; done
这两种方法都很好，但是如果我提交运行在qsub多个文件上的脚本，显然存在一个问题：
qsub -q long runpp_multi.sh
这会将在所有文件上运行的可执行文件作为一个作业提交。我希望每一份文件都作为一个单独
浏览 1提问于2018-08-07得票数 0
回答已采纳
2回答
我有一个python脚本，它对输入文件执行一些操作，然后使用qsub提交一个新作业。
一旦这个新提交的作业完成，我就想再次运行python脚本。因此，基本上，这个python脚本的运行必须链接到上一个作业的运行，该作业是python脚本本身提交的。
用代码术语来概括。我进入父目录并输入：
./python_script.py
python脚本的结构如下所示(实际上要复杂得多)：
def Main():
subdirectory = IdentifySubDirectory()
os.chdir(subdirectory)
EditInputFile()
qsub
浏览 0提问于2013-11-21得票数 1
我是非常熟悉shell脚本编写，我正在尝试编写一个shell管道，它提交多个qsub作业，但在这些qsubs之间运行几个命令，这些命令取决于最近完成的任务。我一直在研究多种方法，试图阻止shell脚本在提交qsub作业后继续运行，但没有一种方法成功。
为了说明这个问题，我能提供的最简单的代码如下：
THREADS=`wc -l < list1.txt`
qsub -V -t 1-$THREADS firstjob.sh
echo "firstjob.sh completed"
显然，在此之后还有其他代码行实际上取决于firstjob.sh的完成，但为了清楚起见，我在这里省
浏览 3提问于2016-03-23得票数 2
2回答
我有一个将数据结构拆分成块的脚本。使用torque作业数组处理这些块，然后将其合并回单个结构。
合并操作依赖于作业数组的完成。如何让合并操作等待torque作业数组完成？
$ qsub --version
Version: 4.1.6
我的脚本如下：
# Splits the data structure and processes the chunks
qsub -t 1-100 -l nodes=1:ppn=40,walltime=48:00:00,vmem=120G ./job.sh
# Merges the processed chunks back into a single str
浏览 2提问于2013-10-22得票数 1
3回答
我希望使用qsub (SGE8.1.3，CentOS 5.9)在网格上运行一些命令，这些命令需要使用管道(|)或重定向(>)。例如，假设我必须并行化命令
echo 'hello world' > hello.txt
(显然是一个简化的示例:实际上，我可能需要将像这样的程序的输出直接重定向到)。如果是这样的话：
qsub echo 'hello world' > hello.txt
hello.txt的结果内容如下所示
Your job 123454321 ("echo") has been submitted
类似地，如果我使用
浏览 7提问于2013-08-19得票数 6
回答已采纳
我希望能够轻松地改变我通过脚本提交给nodes、ppn等等给qsub的数量。也就是说，我想做一些这样的事：
qsub script.sh --name=test_job --nodes=2 --ppn=2 --arg1=2
使用如下脚本：
#/bin/bash
#PBS -N ${NAME}
#PBS -l nodes=${NODES}:ppn=${PPN},walltime=${WALLTIME}
#PBS -q ${QUEUE}
#PBS -m ${MAILOPTS}
#PBS -M ${EMAIL}
/some/command ${ARG1}
因此，我希望能够传递参数，这些参数既可以更
浏览 4提问于2017-02-17得票数 3
回答已采纳
1回答
我有一个matlab脚本，处理大量的数据使用扭矩作业阵列。
首先，我将SSH放入的服务器缺少加载数据的内存，因此需要将计算节点资源请求为torque作业，如下所示：
qsub -I -V -l nodes=1:ppn=1,walltime=12:00:00,vmem=80G
但是，当我现在运行matlab脚本时，我无法提交torque作业数组请求。我得到的错误如下：
qsub: submit error (Job rejected by all possible destinations (check syntax, queue resources, ...))
给出的作业数组请求是：
qsu
浏览 1提问于2014-10-20得票数 1
回答已采纳
我在bash中使用pbs交互作业，使用qsub -I启动，我想在启动后运行一些命令。在运行此命令之后，我想继续像往常一样使用交互式预订。
我不知道如何做到这一点，因为就像打开交互式ssh提示一样，在远程终端完成后发出的命令，即qsub -I; hello。
编辑:为了澄清，在上面的示例(qsub -I; hello)中，我希望在qsub预订中运行hello，而不是在我预订的机器上运行。
我知道我可以为qsub指定一个作业脚本，但在手册页中，我认为它做不到我想做的事情：
..。这项工作是一项互动的工作。脚本将被处理为指令，但不会包含在作业中。
浏览 0提问于2011-08-10得票数 2
我刚开始使用Start集群/qsub/grid引擎来运行并行作业，我试着阅读了其他几篇关于相同的文章。我仍然不知道如何为我的特定需求构建一个可伸缩的解决方案。在进行同样的工作之前，我想再听取一些建议。
以下是我的要求：
我有一个巨大的tar文件~40-50 GB，它可以高达100 GB-->我在这里无能为力。我接受一个巨大的tar文件作为输入。
我必须解压缩和解压缩它-->我运行tar xvf tarfilename.tar平行pbzip -d来解压缩和解压缩。
这个解压缩的输出是几十万个文件，大约50万个文件。
这个未压缩的文件必须处理。我有模块化的代码，可以接受
浏览 6提问于2013-03-11得票数 1
我正在通过qsub向服务器提交作业，然后想在作业完成后在本地机器上分析结果。虽然我可以找到在服务器上提交分析作业的方法，但不知道如何在本地计算机上运行该脚本。
jobID=$(qsub job.sh)
qsub -W depend=afterok:$jobID analyze.sh
但是，我想要的不是上面的内容，而是
if(qsub -W depend=afterok:$jobID) finished successfully
sh analyze.sh
else
some script
我如何才能完成上述任务？
非常感谢。
浏览 2提问于2013-12-26得票数 2
1回答
我正在编写一个perl脚本，其中包括向qsub提交三个脚本。当第一个工作完成时，我如何“告诉”我的脚本？我假设有某种方式访问变量，其中qsub存储作业状态，但我无法弄清楚。
更新:使用qsub中的标志规避它。
qsub -hold_jid job2 job1
浏览 7提问于2011-08-11得票数 2
回答已采纳
可以延迟或错开通过具有qsub的作业阵列启动的作业的开始，例如qsub -t1-4 launch.pbs
我可以通过在我的pbs脚本中随机休眠一小段时间来做到这一点，但是我想知道是否有一种直接的方法可以通过qsub将其指定给调度程序
浏览 0提问于2017-06-06得票数 0
我需要提交大量的作业，为此我编写了一个简单的bash脚本。我的bash脚本如下所示：
for i in {1..2}
do
mkdir "Pris_$i"
cp script.sh precip.in Zope* ./"Pris_$i"
cd ./"Pris_$i"
sed -i "s/0.505\*1/0.505\*$i/g" ./precip.in
qsub script.sh
cd ..
done
我现在想知道一种控制作业提交的方法:等待提交的作业完成，然后提交下一个作业。我可以使用qsub -W depend=aftero
浏览 5提问于2014-10-16得票数 1
回答已采纳
1回答
我目前正在使用qsub运行多个Java可执行程序。
我写了两个脚本: 1) qsub.sh，2) run.sh
qsub.sh
#! /bin/bash
echo cd `pwd` \; "$@" | qsub
run.sh
#! /bin/bash
for param in 1 2 3
do
./qsub.sh java -jar myProgram.jar -param ${param}
done
考虑到上面的两个脚本，我将作业提交给
sh run.sh
我想重定向由myProgram.jar -param ${param}生成的消息
因此，在run.sh中，我用以下代码替
浏览 7提问于2016-08-08得票数 1
回答已采纳
1回答
我试图在光明计算集群上对我的学习模型进行参数调优，由于要调优的参数数量，它需要大量的作业。每一个参数的组合都需要大约162个qsub作业。大约有50个参数组合，我需要检查。这相当于运行大约162个*50个~= 8100作业。但是，在我正在使用的群集上，每个帐户有350 qsub作业限制。因此，我想知道bash脚本中是否有一种方法可以检查当前活动的qsub作业的数量，这样我就可以有效地自动启动新作业的过程。
浏览 2提问于2014-05-04得票数 0
4回答
使用一个非常简单的zsh脚本：
#!/bin/zsh
nums=(1 2 3)
num=$nums[$SGE_TASK_ID]
$SGE_TASK_ID是太阳网格引擎的任务id。我正在使用qsub提交一组作业。
我正在遵循qsub手册页()中的建议，并将我的阵列作业提交为
#script name: job_script.sh
qsub job_script.sh -t 1-3
没有为此阵列作业设置$SGE_TASK_ID ...有谁知道为什么吗？
谢谢!
浏览 6提问于2013-05-10得票数 2
回答已采纳
我知道如何在Jenkins上运行bash脚本。但是，如果我使用qsub将bash脚本提交到OGE系统，Jenkins如何知道我的作业是否终止？
浏览 0提问于2011-10-18得票数 4
2回答
同时执行多个qsub命令
、、、
我正在使用我们部门的计算集群和Sun Grid Engine。
当我必须运行多个R作业时，我通常编写名称为s01.sh、s02.sh、...、s50.sh的shell脚本文件，其内容为'R CMD BATCH r01.r'，'R CMD BATCH r02.r'，...，'R CMD BATCH r50.r‘。
然后我打开'PUTTY'，登录，然后必须输入'qsub s01.sh'，'qsub s02.sh‘....等。
如果有数百个工作，那么手动键入数百个工作是一项真正的劳动。有没有办法同时运行多个'qs
浏览 2提问于2016-10-14得票数 1
2回答
我使用qsub命令将作业提交给Sun引擎。-t选项to qsub使我能够指定要调用脚本的数据集--例如，
$ qsub . . . -t 101-103 my_script.sh
我的问题是，是否可以使用-t选项指定非连续数据集？例如，假设我想在101和103上运行脚本，但不想在102上运行。我怎么才能做到呢？
而且，更广泛地说，我将如何选择任意编号的数据集？
我想要一个在实践中适用于大量数据集的答案--远远超过了在这个玩具例子中使用的两个数据集。
浏览 1提问于2015-04-28得票数 0
回答已采纳
2回答
PBS编程
、、、、
关于PBS的一些简短而愚蠢的问题：
1-我使用提交作业
qsub job_file
是否可以在作业文件中提交(子)作业？
2-我有以下脚本：
qsub job_a
qsub job_b
对于启动job_b，如果在job_a的结果完成之前就有了，那就太好了。是否有可能设置某种障碍或其他解决方法，以便在job_a完成之前不会启动job_b？
谢谢
浏览 2提问于2010-03-03得票数 1
回答已采纳
2回答
使用Sun引擎，是否有一种方法可以在qsub提交脚本中的主节点上运行命令？如果我从一个/bin/hostname脚本中运行qsub，那么我已经在一个队列计算机上，而不是主节点上。简而言之，我想在我刚刚提交的任务上运行qstat。如果我尝试从一个工作节点运行qstat，我会收到一条错误消息，告诉我工作节点既不是提交主机，也不是管理主机。
我意识到我可以在qsub脚本之外这样做，但是脚本定义了许多有用的变量，比如作业名和sge作业id。
浏览 2提问于2017-08-17得票数 0
我正在尝试向SGE (FWIW，它是Gromacs分子动力学模拟的序列)提交(一系列)作业，其中除了后缀之外，所有的作业都是相同的，例如input01，input02等。我编写的命令是以命令序列正确处理后缀的方式运行的。
但是，我无法找到让exec环境接收该变量的方法。根据qsub手册页，-v var应该可以做到这一点。
$ export i=19
$ export | grep ' i='
declare -x i="19"
$ env | grep '^i='
i=19
然后，我提交以下脚本(run.sh)以查看是否接收到它：
if [ &#
浏览 0提问于2012-03-15得票数 4
1回答
我试图使用qsub提交一个python作业，而qsub反过来使用子进程和qsub提交其他几个作业。
我使用下面所示的两个bash脚本提交这些作业。run_test是第一个提交的，run_script是通过子流程提交的。
$ cat run_test
#$ -cwd
#$ -V
#$ -pe openmpi 1
mpirun -n 1 python test_multiple_submit.py
$ cat run_script
#$ -cwd
#$ -V
#$ -pe openmpi 1
mpirun -n 1 python $1
我对第二个脚本有一个问题，它似乎挂在mpirun电话里。我之
浏览 6提问于2014-06-04得票数 1
回答已采纳
我有一个想要在sun grid engine上运行的Python脚本，这个脚本接受一个可能包含大括号的字符串命令行参数。例如，脚本可以是script.py import sys
print(sys.argv[1]) 如果我运行python script.py aaa{，输出是aaa{，如果我运行python script.py aaa{}，输出是aaa{}。这些都是所需的行为。 但是，如果我运行qsub -b y -cwd python script.py aaa{，作业将失败并返回错误Missing }.；如果我运行qsub -b y -cwd python script.py aaa{}
浏览 58提问于2019-03-03得票数 0
回答已采纳
1回答
我想使用qsub启动一组作业，只有当所有其他作业完成“没有错误”时，最后的作业才会运行。在我的例子中，“无错误”意味着它们与status=0一起退出。qsub的手册页在-W depend=afterok描述中说:只有在作业作业结束后，才能计划执行该作业，而没有错误。
不幸的是，它似乎无法解释(或找不到)“没有错误”是什么意思。我的一些脚本很可能会将信息打印到stderr，但我不希望这被解释为错误。
问题1: qsub文档所说的“没有错误”是什么意思？问题2:如何使作业显式地依赖于状态为0的所有作业集合？
浏览 1提问于2018-01-25得票数 1
回答已采纳
我的shell脚本涉及qsub作业提交，然后将该作业生成的文件复制到其他位置。如何做到这一点？
下面是我的shell脚本的样子：
...
qsub synplify.csh
cp ./rev_1/netlist.vqm ~/sample
...
在这里，synplify.csh作业已在服务器上提交，但尚未完成。并且它为执行第二行扫清了道路。因此，在处理第一个作业时执行第二行。我希望在作业完成后执行第二行。
浏览 0提问于2017-02-03得票数 3
5回答
我想在不创建离散作业文件的情况下提交qsub作业。因此，假设我有一个名为"get_time.py“的python脚本，它只报告时间。而不是像这样做一个提交脚本：
cat>job.sub<<eof
#PBS -l walltime=1:00:00
cd $PBS_O_WORKDIR
get_time.py
eof
然后...and提交作业：qsub job.sub
我希望能够绕过文件创建步骤，并将构造想象成如下所示：qsub -d . -e get_time.py
其中-e是我想象中的参数，它告诉qsub下面是要发送到调度程序的代码，而不是使用一
浏览 2提问于2013-11-21得票数 3
回答已采纳
1回答
我有一个bash脚本，它使用qsub将成百上千的作业提交到一个响应缓慢的SGE队列(每个作业ID显示需要很好的一秒钟)。
为了绕过这个耗时的过程，并且在退出shell时不会杀死我的脚本，我通过附加&将脚本作为后台作业运行。虽然这为我节省了半个小时的时间，但作业ID仍然会出现，并与命令提示符打乱。
我想知道是否有可能禁止显示作业ID，或者以某种方式将作业静默提交到队列中。尽管这篇谈到了-z参数，但它不起作用，在qsub手册页上也没有提到它。
谢谢!
浏览 1提问于2013-04-18得票数 0
回答已采纳
2回答
我有一个作业脚本compile.pbs，它运行在一个CPU上，并编译源代码来创建一个可执行文件。然后，我有了第二个作业脚本jobscript.pbs，我称之为使用32个CPU来使用MPI运行新创建的可执行文件。当我连续手动调用它们时，它们都很好地工作，但是我想让第一个脚本在第二个作业脚本结束之前调用它来自动化这个过程。是否有适当嵌套qsub调用或连续调用qsub调用的方法？
目前，我的尝试是让第一个脚本在第二个脚本结束之前调用它，但是当我尝试从第二个(嵌套)qsub得到一个奇怪的错误消息时：
qsub: Bad UID for job execution MSG=ruserok failed
浏览 5提问于2013-07-20得票数 0
回答已采纳
我现在正在写一个外壳脚本，包括一些并行在工作节点上的qsub作业，然后汇总统计数据并写入文件"temperature.txt“中。但是，本地命令将在qsub将作业提交到节点之后立即执行。是否有像"wait pid“这样的东西可以应用于qsub作业id？
我的代码如下所示：
echo "Burning..."
var=0
while [ $var -ne 1 ]
do
qsub -hold_jid update -t 1-$1:1 -N mcmc_bn_$T -S /bin/sh -j y -cwd ./bn_mcmc.sh # Submit mcmc
浏览 0提问于2016-11-29得票数 0
1回答
假设我想编写一条提交到Sun/Oracle网格引擎的任务管道。
qsub -cwd touch a.txt
qsub -cwd -hold_jid touch wc -l a.txt
现在，这将运行第二个作业(wc)后，第一个任务(触摸)完成。但是，如果先前的一个带有名称的作业运行得更早，那么第二个作业就不会被保留，因为条件已经满足了。我需要第一份工作的工作。
我试过了
myjid=`qsub -cwd touch a.txt`
但它给了$ echo $myjid Your job 1062487 ("touch") has been submitted
浏览 2提问于2015-03-26得票数 2
回答已采纳
1回答
我正在试图找出我的脚本中减慢了整个过程的点。我使用expect脚本发送sed命令来搜索和替换文件中的一行。这需要2秒到20秒的时间来完成，而它不应该持续超过一秒。我是两个并行在两个终端中的expect脚本。第一个文件launchmpj.exp启动一个qsub作业，该作业需要几秒钟的时间才能启动。第二个文件launchneuron.exp等待qsub作业启动并继续执行脚本。当qsub作业启动时，launchmpj.exp发送一个命令，允许第二个文件launchneuron.exp知道qsub作业启动并停止等待。
这是launchmpj.exp
#!/usr/bin/expect -f
set t
浏览 0提问于2013-07-27得票数 3
1回答
如何更改slurum上的工作目录
、、、、
我在一个slurm集群上工作，在那里我运行着几个作业。我很难逐个检查每个目录中的作业。
我可以使用以下命令检查作业正在运行的目录
scontrol show job JOB_ID
这个命令在输出中显示了不同的行。下面列出了其中的几个
OverSubscribe=OK Contiguous=0 Licenses=(null) Network=(null)
Command=/home/astha/vt-st/scf-test/303030/49/qsub.job
WorkDir=/home/astha/vt-st/scf-test/303030/49
StdErr=/hom
浏览 24提问于2020-11-17得票数 1
回答已采纳
我正在尝试通过qsub运行作业。
这是我的脚本：
run.sh:
#/bin/sh
java -jar project-test-0.1.0-SNAPSHOT.jar
当我通过./run.sh执行该脚本时，它可以正常工作
因为它会打印一些结果，所以我想通过qsub来实现：
./run.sh > output
但当我这么做的时候：
qsub -cwd -o output.log run.sh
output.log没有在output.log中打印结果，而是打印了以下内容：
Warning: no access to tty (Bad file descriptor).
Thus no
浏览 6提问于2015-08-27得票数 2
我在一台高性能计算机上运行我的程序，通常使用不同的参数作为输入。这些参数通过参数文件提供给程序，即qsub文件如下所示
#!/bin/bash
#PBS -N <job-name>
#PBS -A <name>
#PBS -l select=1:ncpus=20:mpiprocs=20
#PBS -l walltime=80:00:00
#PBS -M <mail-address>
#PBS -m bea
module load foss
cd $PBS_O_WORKDIR
mpirun main parameters.prm
# Append th
浏览 0提问于2018-03-08得票数 2
1回答
我正在尝试设置一个新的计算集群，目前在SGE中使用qsub命令时出现了错误。下面是一个简单的实验，展示了这个问题：
test.sh
#!/usr/bin/zsh
test="hello"
echo "${test}"
test.sh.eXX
test=hello:命令找不到。
测试:未定义变量。
test.sh.oXX
警告:不能访问tty (坏文件描述符)。
因此，在这个shell中没有作业控制。
如果我在head节点(sh test.sh)上运行脚本，则输出是正确的。我通过输入"qsub test.sh“将工作提交给SGE。
如果我
浏览 1提问于2013-06-24得票数 2
回答已采纳
当你提交一份工作时，你会做这样的事情：
qsub -t 1-1000 -N myArray arrayjob.sh
#This execute arrayjob 1000 simultaneus times, calling the job "myArray"
我想用另一个脚本来包装它，它告诉我"Ehi，所有的任务都完成了！“
有人会提出：
qsub somethingAfterAllTheTask.sh -hold_jid "myArray"
但
我不想在myArray之后启动另一个要执行的作业:我想恢复执行myArray的qsub的脚本
m
浏览 0提问于2018-12-05得票数 0
回答已采纳
2回答
对于任意顺序范围的整数，n1..n2如何使用命令行工具将它们解析为长度为<= n的范围
示例
作为一个具体的例子，我有一个文件夹名为1253..2050的目录。每个文件夹都有一个名为job.sh的脚本，我可以将它们分批提交给20个作业(因为每个节点都有20个核心)。因此，我想生成以下命令：
样本输入：
echo {1253..1301}
对于特定情况，我可以使用/bin/ls或cat runs.txt生成这个整数序列。
样本输出：
qsub -t 1253-1272 array.pbs
qsub -t 1273-1292 array.pbs
qsub -t 1293-1301 array
浏览 4提问于2015-07-13得票数 1
回答已采纳
我有一个作业脚本，开头有以下PBS规范：
#PBS -t 0-99
#PBS -l nodes=1:ppn=1
第一行说这是一个作业数组，作业索引从0到99。我希望每个单独的索引作业只使用一个节点和每个节点一个核心，因此我的第二行PBS。但我担心TORQUE qsub会将第二行解释为整个作业数组应该顺序地运行在单个核上。
扭矩qsub如何解释PBS第二线？
浏览 0提问于2014-09-30得票数 1
回答已采纳
我有一个Perl脚本，它向SGE提交了一堆数组作业。我希望所有作业并行运行以节省时间，并让脚本等待它们全部完成，然后继续下一个处理步骤，该步骤集成来自所有SGE输出文件的信息并生成最终输出。
为了将所有作业发送到后台然后等待，我使用了Parallel::ForkManager和一个循环：
$fork_manager = new Parallel::ForkManager(@as);
# @as: Max nb of processes to run simultaneously
for $a (@as) {
$fork_manager->start and next; # St
浏览 2提问于2012-05-23得票数 0
我正在使用Sun Grid引擎排队系统。
假设我使用如下脚本提交了多个作业：
#! /bin/bash
for i in 1 2 3 4 5
do
sh qsub.sh python run.py ${i}
done
qsub.sh看起来像：
#! /bin/bash
echo cd `pwd` \; "$@" | qsub
假设有5个作业正在运行，我想找出每个作业正在执行的命令。
通过使用qstat -f，我可以看到哪个节点正在运行哪个jobID，而不是每个jobID所涉及的特定命令。
例如，我想检查哪个jobID=xxxx正在运行python run.py 3等等。
浏览 7提问于2017-11-12得票数 0
回答已采纳
我正在尝试调整一些bash脚本，使它们在()集群上运行。
单个任务由几个脚本执行，这些脚本由主脚本启动。到目前为止，这个主要脚本在后台启动多个脚本(通过附加&)，使它们在一台多核计算机上并行运行。我想用qsub来代替这些调用，通过集群节点分配负载。
然而，有些工作取决于其他工作在开始之前要完成。到目前为止，这是通过主脚本中的wait语句实现的。但是使用网格引擎做这件事的最好方法是什么呢？
我已经在手册页面中找到了-W after:jobid[:jobid...]文档以及qsub文档，但我希望有更好的方法。我们正在讨论的是几千个首先并行运行的作业，还有一个相同大小的作业，在最后一个任务完
浏览 6提问于2013-08-26得票数 5
回答已采纳
考虑要经由qsub发送到集群作业队列的脚本"run.sh"，
qsub ./run.sh
我的问题是，如何在script run.sh中获取进程的编号--在文件*.o${PID}和*.e${PID}中显示为${PID}的进程？
qsub会导出吗？在哪个名字上？
浏览 0提问于2013-01-23得票数 0
回答已采纳
我想编写一个脚本，它将作业提交脚本的输出作为变量，用于相同的next循环。我把它写成如下
temp= (40 50)
for i in "${!temp[@]}"; do
cd ${temp[i]}-$((temp[i]+10))ns;
((counter++))
var="ID$((counter-1))"
var1=ID$counter
if [[ "$i" -eq 0]]; then
var1=$(qsub jobsubmission.sh);
else
var1=$(qsub -W depend=
浏览 3提问于2022-10-21得票数 0
回答已采纳
我正在尝试编写一个bash脚本，它向集群发送多个作业(SGE调度程序)，并且每个作业都等待前面的任务结束，例如：
HOLD_ID=$(qsub JOB1.sh | cut -c 10-16)
HOLD_ID=$(qsub -hold_jid $HOLD_ID JOB2.sh | cut -c 10-16)
HOLD_ID=$(qsub -hold_jid $HOLD_ID JOB3.sh | cut -c 10-16)
但是，现在我想在这个管道中添加一个被搁置的数组作业，例如：
qsub -hold_jid $HOLD_ID -t 1-$NB_OF_SUBJOBS JOB4.sh
但是在这里，
浏览 3提问于2015-12-14得票数 1
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM活动推荐
腾讯云开发者
