问Condor Vanilla宇宙运行在提交机上
EN

Stack Overflow用户

提问于 2016-02-24 22:15:55

回答 1查看 266关注 0票数 0

我是秃鹰的新手。我正在用no做秃鹰的主项目。覆盆子皮。目前，我已经将两个pi连接在一个秃鹰池中；我指的是"dag.html“网站来运行一个作业。但问题是作业是在提交机器上运行的。

有人能帮我一下吗。这将是一个很大的帮助。

提交文件为

Universe   = vanilla
Executable = simple
should_transfer_files = yes
when_to_transfer_output = on_exit
MultiCPUJob = True
transfer_input_files = simple.dag
Arguments  = 4 10
Log        = simple.log
Output     = simple.out
Error      = simple.error
Queue

日志文件

pi@raspberrypi:~/job $ cat simple.log

000 (012.000.000) 02/25 06:00:21 Job submitted from host: <10.0.101.122:46766>
    DAG Node: simple

...
001 (012.000.000) 02/25 06:00:31 Job executing on host: <10.0.101.122:36154>
...

006 (012.000.000) 02/25 06:00:35 Image size of job updated: 7

        0  -  MemoryUsage of job (MB)

        0  -  ResidentSetSize of job (KB)
...

005 (012.000.000) 02/25 06:00:36 Job terminated.

        (1) Normal termination (return value 0)

                Usr 0 00:00:00, Sys 0 00:00:00  -  Run Remote Usage

                Usr 0 00:00:00, Sys 0 00:00:00  -  Run Local Usage

                Usr 0 00:00:00, Sys 0 00:00:00  -  Total Remote Usage

                Usr 0 00:00:00, Sys 0 00:00:00  -  Total Local Usage

        56  -  Run Bytes Sent By Job

        6230  -  Run Bytes Received By Job

        56  -  Total Bytes Sent By Job

        6230  -  Total Bytes Received By Job

        Partitionable Resources :    Usage  Request Allocated

           Cpus                 :                 1         1

           Disk (KB)            :       14       10     76532

           Memory (MB)          :        0        1       434

...

pi@raspberrypi:~/job $

condor

linux

raspberry-pi

回答 1

Stack Overflow用户

发布于 2016-05-16 06:35:04

如果作业在提交机器上运行，它必须运行STARTD以及SCHEDD、NEG等.如果您不需要这样做，那么您可以在/etc/condor/condor_config (或condor_config.local，取决于安装程序)中关闭它。

如果希望提交节点能够运行某些作业，但不运行这些作业，则可以指定

requirements = TARGET.Machine==foo@bar.com

为了强制它在特定的机器上运行，或者使用关于您的需求的任何特定的内容来筛选出提交节点，使用ClassAds作为开始节点(使用condor_status -l来查看这些节点)。您可以在配置文件中自己指定这些ClassAds，然后使用它们来设置作业的需求。启动节点: condor_config.local POOL=start_pool

SubmitNode: submit.dag requirements=POOL=="start_pool“给自己更好的定制。

票数 0

页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://stackoverflow.com/questions/35619756

复制

《Python分布式计算》第6章超级计算机群使用Python （Distributed Computing with Python）典型的HPC群任务规划器使用HTCondor运行Python任务

python 分布式

本章，我们学习另一种部署分布式Python应用的的方法。即使用高性能计算机（HPC）群（也叫作超级计算机），它们通常价值数百万美元（或欧元），占地庞大。真正的HPC群往往位于大学和国家实验室，创业公司和小公司因为资金难以运作。它们都是系统巨大，有上万颗CPU、数千台机器。经常超算中心的集群规模通常取决于电量供应。使用几兆瓦的HPC系统很常见。例如，我使用过有160000核、7000节点的机群，它的功率是4兆瓦！想在HPC群运行Python的开发者和科学家可以在本章学到有用的东西。不使用HPC群的读者，

SeanCheney

2018/04/24

4.2K1