检查在shell脚本中运行的qsub作业的状态

文章/答案/技术大牛

发布

1回答

bash、shell、loops、qsub

我已经得到了一个c shell脚本，它可以启动一个示例的800个qsubs。我需要在超过500个样本上运行这个脚本(在samples.txt中列出)。为了自动化这个过程，我考虑使用以下bash shell脚本运行脚本(名为SrchDriver)： #!SrchDriver脚本，这将导致服务器上一次执行太多作业。我想通过等待特定样本的所有qsubs完成，一次只<em

浏览 17提问于2019-08-09得票数 0

2回答

自动通知qsub作业完成状态

linux、bash、shell、unix、qsub

我有一个shell脚本，可以从中调用其他五个脚本。第一个脚本在集群中创建了50个qsub作业。单个作业的执行时间从几分钟到一小时不等。我需要知道所有50个作业何时完成，因为在完成所有作业后，我需要运行第二个脚本。如何查看是否所有的qsub作业都完成了？一种可能的解决方案是使用无限循环，通过使用带有作业<

浏览 3提问于2015-07-28得票数 1

2回答

当qsub在服务器上提交的作业完成时，在我的本地计算机上运行脚本

bash、qsub

我正在通过qsub向服务器提交作业，然后想在作业完成后在本地机器上分析结果。虽然我可以找到在服务器上提交分析作业的方法，但不知道如何在本地计算机上运行该脚本。jobID=$(qsub job.sh) 但是，我想要的不是上面的内容，而是 if(qsub -W depend=afterok

浏览 2提问于2013-12-26得票数 2

1回答

bash脚本行以#$开头的含义是什么？

command-line、bash、scripts

我在GitHub上找到了GitHub，我想在自己的工作中使用它。我的问题是:第2行到第5行是什么意思？这些只是评论，还是有什么用呢？ #!

浏览 0提问于2018-05-05得票数 13

回答已采纳

1回答

具有参数的多个命令:如何使用逻辑还是？

bash、shell-script

1 --array [1-10:1] \ param4 param5 param6; { sbatch ... ; } || \编辑:更具体一点。有两个簇。对于第一个，SLURM正在运行，在第二个SGE上。我想对SLURM和SGE使用相同的脚本。因此，我试图通过使用逻辑or:如果第一个命令失败(因为命令未知，因为系统不存在)来解决这个任务

浏览 0提问于2021-12-29得票数 0

1回答

保持shell脚本命令的剩余部分，直到PBS qsub数组作业完成为止。

shell、wait、chaining、qsub

我是非常熟悉shell脚本编写，我正在尝试编写一个shell管道，它提交多个qsub作业，但在这些qsubs之间运行几个命令，这些命令取决于最近完成的任务。我一直在研究多种方法，试图阻止shell脚本在提交qsub作业后继续运行，但没有一种方法成功。我尝试了以下暂停/保存脚本的方法： 1)只使用wait，它应该在所有后台程序完成之前停止

浏览 3提问于2016-03-23得票数 2

1回答

静默向SGE提交qsub作业

qsub、sungridengine

我有一个bash脚本，它使用qsub将成百上千的作业提交到一个响应缓慢的SGE队列(每个作业ID显示需要很好的一秒钟)。为了绕过这个耗时的过程，并且在退出shell时不会杀死我的脚本，我通过附加&将脚本作为后台作业运行。虽然这为我节省了半个小时的时间，但作业ID仍然会出现，并与命令提示符打乱。我想知道是

浏览 1提问于2013-04-18得票数 0

回答已采纳

2回答

使用python提交作业

python、jobs

我正在尝试使用python脚本在我们学院的集群中提交一份工作。ran_numbers.f90 ' + fname \ subprocess.Popen(compile_cmd, shell=True) 问题是，系统就在这一点上悬着。上面的脚本中有明显的错误吗？

浏览 13提问于2013-10-17得票数 1

回答已采纳

1回答

将作业提交到集群中的nohup命令

unix、cluster-computing、nohup、qsub

我正试图将一份工作提交给一个可能需要几天时间的分组。通常，对于较短的任务，我只需执行qsub Arun1_scr，然后在使用qstat监视其状态时等待作业完成。Arun_scr是一个基本脚本。如果我想退出shell，甚至在集群上完成工作时关闭计算机，那么我所要做的就是取消qsub Arun1_scr？谢谢!

浏览 5提问于2016-08-09得票数 0

2回答

(shell* script - qsub)等待提交的作业完成，然后再执行下一个命令*

shell、jobs、qsub

我的shell脚本涉及qsub作业提交，然后将该作业生成的文件复制到其他位置。如何做到这一点？...cp .在这里，synplify.csh作业已在服务器上提交，但尚未完成。并且它为执行第二行扫清了道路。因此，在处理第一个作业时执行第二行。我希望在作业完成

浏览 0提问于2017-02-03得票数 3

1回答

向qsub提交作业会产生错误，警告:无法访问tty

qsub

我正在尝试通过qsub运行作业。run.sh: java -jar project-test-0.1.0-SNAPSHOT.jar 因为它会打印一些结果，所以我想通过qsub来实现：但当我这么做的时候： qsub -cwd -o output.log run

浏览 6提问于2015-08-27得票数 2

1回答

在集群上提交作业的PBS代码

ssh、cluster、high-performance

我正在尝试编写一个代码来提交集群上的作业，并使用其他人以前的代码作为模板；是否有人可以一步一步地向我解释每一行？我想我理解节点和墙壁时间，因为我看过一些教程，但我在理解最后3行时遇到了困难。 #!

浏览 0提问于2016-08-05得票数 2

1回答

无法在Sun Grid引擎中的任何队列中运行作业

sungridengine

我正在运行Sun引擎，刚刚完成安装。我使用命令行中的shell包装脚本提交作业，如下所示无法运行作业: b410您的作业不允许在任何队列中运行。你的工作1("hello_world.sh")已经提交。

浏览 2提问于2016-11-09得票数 1

1回答

扭矩qsub使工作依赖于其他工作

qsub、torque

我想使用qsub启动一组作业，只有当所有其他作业完成“没有错误”时，最后的作业才会运行。在我的例子中，“无错误”意味着它们与status=0一起退出。qsub的手册页在-W depend=afterok描述中说:只有在作业作业结束后，才能计划执行该作业，而没有错误。不幸的是，它似乎无法解释(或找不到)“没有错误”是什么意思。我

浏览 1提问于2018-01-25得票数 1

回答已采纳

4回答

我一直在用在Sun GridEngine集群上提交任务，但现在发现自己使用的是命名不那么方便的数据集(也是超大型的)。做这件事最好的方法是什么？我可以尝试将它们全部重命名，但名称包含需要保留的信息，这显然会带来一系列问题。我可以把所有的东西都预处理成json，但是如果有办法只处理qsub -all_contents_of_directory，那将是最理想的。我是索尔吗？我是不是应该直接转到有问

浏览 0提问于2011-09-02得票数 1

2回答

使用python编写shell脚本时出现"Command not found“

python、shell、sungridengine

我有这个python脚本：我正在尝试将此脚本作为作业发送到计算集群上执行。我像这样用qsub发送它：qsub myscript.pychmod +x myscript.pyWarning: no accessThus no job control in this shell. 当我打开错

浏览 14提问于2014-08-16得票数 0

1回答

在将后续作业提交到PBS群集之前，等待用户的所有作业完成。

shell、cluster-computing、wait、pbs、qsub

我正在尝试调整一些bash脚本，使它们在()集群上运行。然而，有些工作取决于其他工作在开始之前要完成。到目前为止，这是通过主脚本中的wait语句实现的。但是使用网格

浏览 6提问于2013-08-26得票数 5

回答已采纳

1回答

避免使用选项-sync yes在SGE中打印作业退出代码

sungridengine

我有一个Perl脚本，它向SGE提交了一堆数组作业。我希望所有作业并行运行以节省时间，并让脚本等待它们全部完成，然后继续下一个处理步骤，该步骤集成来自所有SGE输出文件的信息并生成最终输出。<qsub_options> .选项中添加"-sync yes”。但是作为它的“副作用”，SGE打印每个数组作业中每个任务的退出代码，由于有许多作业，并且

浏览 2提问于2012-05-23得票数 0

2回答

太阳网格引擎qsub到所有节点

cluster-computing、sungridengine、qsub

它们是与SGN一起安装的。我在所有节点上都准备好了一个shell脚本。现在，我想使用一个qsub在我的所有节点上提交作业。我用：但似乎只有一个节点在做这项工作。我想知道如何为所有节点提交作业。命令是什么。我指的是这个

浏览 3提问于2015-05-07得票数 0

回答已采纳

1回答

将多个脚本提交给perl中的qsub

perl、batch-file、unix

我正在编写一个perl脚本，其中包括向qsub提交三个脚本。当第一个工作完成时，我如何“告诉”我的脚本？我假设有某种方式访问变量，其中qsub存储作业状态，但我无法弄清楚。更新:使用qsub中的标志规避它。 qsub -hold_jid job2 job1

浏览 7提问于2011-08-11得票数 2

回答已采纳

点击加载更多