使用qsub提交作业时，如何包含本地安装的python包？

文章/答案/技术大牛

发布

2回答

python、cluster-computing、pbs、qsub、supercomputers

我在一个超级计算集群上有一个帐户，在那里我使用"pip install --user keras“安装了一些软件包。当使用qsub向队列提交作业时，我尝试通过设置“在脚本中导出PYTHONPATH=$PYTHONPATH:$HOME/.local/lib/python2.7/site-packages/keras”“来确保系统可以看到我的本地</em

浏览 34提问于2017-01-17得票数 3

2回答

qsub和python，导入.py模块，但为.pyf返回ImportError

python、module、importerror、qsub

我正在尝试通过qsub myScript.sh -cwd提交一个作业，其中的shell脚本运行Python2.7脚本myPython.py。# myScript.sh现在，myPython.py需要导入存储在我的本地目录中的Python包，以便脚本以 sys.path.append(

浏览 1提问于2013-11-22得票数 0

1回答

使用conda环境在qsub中运行作业

linux、conda、qsub

我想使用qsub提交一个作业，它运行一些使用Numpy的Python代码。Numpy安装在我登录集群时激活的conda虚拟环境中，如果我只需在Python命令行解释器中调用import numpy，就可以导入它。但是，当我使用qsub提交作业时，它会尝试在不使用该环境的情况下

浏览 355提问于2021-02-06得票数 0

2回答

使用python提交作业

python、jobs

我正在尝试使用python脚本在我们学院的集群中提交一份工作。\ subprocess.Popen(compile_cmd, shell=True) Popen('qsub上面的脚本中有明显的错误吗？代码中提到的所有文件都在该目录中可用(我已经交叉检查过了)。qsub是一个用于向集群提交作业<

浏览 13提问于2013-10-17得票数 1

回答已采纳

1回答

如何在2个计算节点和1个头节点的torque集群中运行数据包捕获程序？

cluster-computing、jobs、pbs、qsub、torque

我使用torque pbs配置了一个包含2个计算节点和1个头节点的集群。我使用qsub命令提交作业，比如qsub myscript.sh我有一个用C编写的带有libpcap

浏览 0提问于2013-03-01得票数 0

9回答

等待一组qsub作业完成

qsub

我有一个批处理脚本，它从几个qsub作业开始，当它们都完成时，我想捕捉它们。我相信扭矩可能有一些选择，但我正在运行SGE。关于我如何实现这一点，有什么想法吗？

浏览 8提问于2012-07-17得票数 41

1回答

我必须在集群中的特定节点上运行代码，其中20 nodes.The集群运行在分操作系统上。我正在从ubuntu12.04进行ssh连接。我必须运行一个名为training.py的python脚本。安装了多个版本的python (2.4、2.7、3.2)。作为一个linux新手，我有以下疑问：如何选择一个特定的节点来运行我的代码？如果系统默认运行2.4，如何选择pythonVersion2.7。

浏览 2提问于2013-09-29得票数 1

回答已采纳

2回答

运行在docker中导入本地脚本的python脚本

python、docker、dockerfile

我有一个导入另一个本地脚本submain.py的本地脚本main.py。当我在docker中运行它时，我得到以下错误：RUN pip install --upgrade p

浏览 0提问于2017-08-25得票数 0

2回答

sge获取脚本内的脚本位置

bash、cluster-computing

我正在编写一个脚本，该脚本将通过sge集群中的qsub运行。#!之前的解决方案都不起作用。我正在使用qsub -o console.out /tmp/qsubScript/qsu

浏览 1提问于2016-06-09得票数 4

2回答

PBS编程

scripting、job-scheduling、pbs、qsub、torque

关于PBS的一些简短而愚蠢的问题：qsub job_fileqsub job_a对于启动job_b，如果在job_a的结果完成之前就有了，那就太好了。

浏览 2提问于2010-03-03得票数 1

回答已采纳

1回答

如何从指定节点运行脚本并激活conda环境？

python、environment-variables、qsub

我有一个python程序，它在conda环境中运行，安装在集群的特定节点中。我想把它提交给qsub，但只是需要帮助。我的剧本是：我已经试过了： ssh **节点**‘导出SGE_ROOT=/usr/local/ run /ge2011.11；/usr/local/run/ge2011.11/bin/linux-x64/qsubsc

浏览 0提问于2020-12-12得票数 0

2回答

立即捕捉到qsub命令行中没有定义所有环境变量。

bash、pbs

我正在使用qsub提交pbs工作。我的作业文件需要定义5个环境变量：qsub -v A=foo,B=bar,C=cat,D=dog,E=qux jobfile.sh。有时，我可能会忘记在命令行中定义一个变量，而我只是在稍后提交以查找我的错误。那么，是否有一种方法来捕捉在使用qsub提交时并非所有的环境变量都已定义的条件？还是我必须承认，在提交<

浏览 2提问于2014-04-28得票数 2

回答已采纳

2回答

使用qsub进行作业链接

qsub

我有一个python脚本，它对输入文件执行一些操作，然后使用qsub提交一个新作业。用代码术语来概括。我进入父目录并输入： .&

浏览 0提问于2013-11-21得票数 1

2回答

如何迭代执行qsub作业

python、bash、qsub

如何迭代qsub作业？for i in `seq 1 10`;do;qsub job$i.sub;sleep 10;done我想在Cray XE6上运行这个。我的R代码使用遍历算法，因此作业的迭代

浏览 0提问于2013-06-06得票数 0

1回答

在qsub中运行python脚本

python、qsub、torque

我有一个python脚本main_script.py，如下所示：//mypath//pathfile1...//mypath/&#x

浏览 5提问于2017-03-07得票数 4

1回答

如何在Sun SGE grid上使用multiprocessing.Pool等Python并行模块

python、python-multiprocessing、sungridengine

我有一段python代码，它在一台装有multiprocessing.Pool的机器上运行，用于许多独立的作业。我想知道是否有可能在SGE网格上使其更加并行，例如，网格的每个节点为这些独立的作业运行多个线程。提交命令可能如下所示： qsub -V -b yes -cwd -l h_vmem=10G -N jobname -o grid_job.log -j yes "python worker.py&quo

浏览 1提问于2017-03-30得票数 3

3回答

Bash脚本，它允许qsub在扭矩中等待工作完成，就像SGE系统中的-sync y一样

bash、qsub、torque

我正在使用一个带有Torque/Maui系统的集群。我有一个bash脚本，它使用qsub命令提交一个作业，然后做几件事情，比如移动文件、编写ASCII文件以及检查我提交的作业的输出。对于这个输出，基本上，如果它包含数字1，则需要再次提交作业。如果与1不同，bash脚本会执行其他操作。问题是qsub在后台运行，所有bash都是一次评估<

浏览 9提问于2014-10-03得票数 5

2回答

太阳网格引擎qsub到所有节点

cluster-computing、sungridengine、qsub

它们是与SGN一起安装的。我在所有节点上都准备好了一个shell脚本。现在，我想使用一个qsub在我的所有节点上提交作业。我用：但似乎只有一个节点在做这项工作。我想知道如何为所有节点提交作业。命令是什么。我指的是这个

浏览 3提问于2015-05-07得票数 0

回答已采纳

2回答

Snakemake SGE集群提交问题

python、linux、sungridengine、snakemake

我是新的蛇形和使用集群，所以我会感谢任何帮助！我在SGE集群上运行它，其中只有一个节点( head节点)，我们通过该节点提交作业。我们不能以交互方式运行作业，也不能在head节点上运行密集命令。view -S -bh -@

浏览 11提问于2017-05-16得票数 1

回答已采纳

1回答

从父文件夹运行qsub命令到包含文件.dat的以下所有目录*

command-line、qsub

我正在使用Redhat和pbs排队系统向有限元分析代码提交作业。我通常有一个文件夹，其中包含我想要运行的.dat文件和将提交.dat文件的.pbs文件。要提交.dat文件，我将在包含这两个文件的目录中运行命令"qsub *.pbs“。如何在包含.dat文件的目录之外提交或直接运行"qsub

浏览 2提问于2013-06-05得票数 0

点击加载更多