为什么GNU并行的效率越来越低？

文章/答案/技术大牛

发布

1回答

bash、parallel-processing、gnu、tls1.2、gnu-parallel

我有一个包含1,000,000个域名的文件，目前我正在列表的每个域(即文件的每一行)上启动脚本testssl.sh ()。我正在使用GNU并行来提高性能。下面是我如何使用GNU并行启动testssl.sh：testMX.sh启动testssl.sh的位置： .testssl.sh --s

浏览 15提问于2017-07-25得票数 1

回答已采纳

1回答

如何提高gnu并行读取压缩流的效率？

unix、unix-shell、parallel-computing

是从上一个1扩展的另一个问题。从ps，我看到了很多东西，比如..。sh -c 'dd bs=1 count=1 of=/tmp/7D_YxccfY7.chr 2>/dev/null'; 我知道我可以改进使用-a in.txt来提高性能，但是在我的情况下，我是从bz2中流出来的(因为我没有足够的磁盘空间，所

浏览 0提问于2014-05-28得票数 2

1回答

PBS: GNU并行:分配的主机不同，多CPU作业，多个作业给一些主机

hpc、gnu-parallel、pbs

使用PBSpro，我可以请求资源来运行我的工作。我的并行集群作业归结为多次运行同一个文件，每次使用不同的索引/作业ID。每个任务产生自己的子进程，每个任务总共使用4个CPU。这是一个令人尴尬的并行工作，每个任务相互独立，因此很适合GNU并行工具。问题在于，PBSpro作业管理器可以将多个作业分配给同一个节点，或者只有一个作业分配给一个节点，并且该信息必须以某种方式传递给GNU并行。使用--

浏览 2提问于2018-05-11得票数 3

回答已采纳

1回答

gnu平行缺失的参数到bash？

bash、semaphore、gnu-parallel

当我尝试使用gnu并行的信号量时，任何命令都会产生以下结果：例如：/bin/bash -c 为什么没有任何东西被传递给巴什？Am on Ubuntu12.04.5LTS( GNU

浏览 1提问于2015-07-21得票数 3

回答已采纳

1回答

产生多个背景过程

process、background-process

我有一个包含2,000,000行的文件。我正在为每一行运行一些命令。我试图使用GNU-parallel和swift实现一些并行性，就像讨论的这里一样。然而，我从我的一个朋友那里得到了一个有趣的想法。

浏览 0提问于2014-02-14得票数 2

1回答

如何有效地缩放数据湖？

amazon-web-services、amazon-s3、databases

我遇到了AWS雅典娜数据湖的问题。它们最初速度很快，但随着我们的扩展，它们的性能很差，而且成本越来越高，效率越来越低。在不减少数据大小的情况下，我们能做些什么来解决这个问题呢？

浏览 0提问于2022-03-26得票数 0

回答已采纳

3回答

Bash上的并发性和并行性

bash、parallelism、concurrency

我对bash中的并发性和并行性有点困惑。据我所知，当我们同时在多个子these中运行命令时，这些命令在单个处理器核上并行运行。例如，cmd1 & cmd2 & cmd3 & bash通过子other提供并行性，另一方面，在Bash上使用另一种方法也可以实

浏览 0提问于2020-10-22得票数 2

1回答

如何了解GNU parallel一次可以运行的最大进程数？

linux、parallel-processing、gnu-parallel

我正在尝试找到一种方法来了解如何使用GNU并行在我的计算机上同时运行的作业的最大数量。我们可以通过-j<jobs>参数定义要生成的作业。但我找不到任何方法可以一次产生多少个开始。在正常的计算机中，如果我们使用top/htop检查内核数量，那么这就是可以同时运行的最大进程数。但我正在尝试在一台允许多个节点的超级计算机上运行它。

浏览 1提问于2019-09-06得票数 2

1回答

HPC上bash脚本中的GNU并行终止命令

parallel-processing、hpc

我正在运行GNU并行来运行一个bash脚本，但是似乎GNU并行会自动杀死我的程序，我不确定为什么。当我单独运行内部脚本时，它可以正常运行。parallel --progress --joblog ${home}/data/hsc-admmt/Projects/log_a.sh -j 5 :::: a.sh 下面是

浏览 0提问于2021-02-25得票数 1

4回答

有没有办法加快Solaris Sun Studio12中的C++编译速度？

c++、compiler-construction、performance、solaris、sunstudio

由于我是在服务器端(总共32或64个内核)上编译我的C++代码，有没有办法调整编译器选项来加快编译速度？例如告诉编译器使用多线程编译独立的.cpp文件。

浏览 1提问于2010-07-09得票数 4

回答已采纳

1回答

Jsoup：“仅选择text()等于的链接”

java、html-parsing、jsoup

使用text()与一些预定义字符串进行cul链接的一种方法很简单：forsuch") { }但是随着text()条件数量的增加，这种方法看起来效率越来越低。有没有更好

浏览 0提问于2011-09-06得票数 3

回答已采纳

1回答

Gnu并行:嵌套并行

parallel-processing、gnu-parallel

是否有可能从由gnu并行生成的脚本的多个运行中调用gnu并行？我有一个用于运行序列迭代的python脚本，在每次迭代的某个地方，有4个值是并行计算的(使用gnu并行)。现在我想同时生成多个这样的脚本，再次使用gnu并行。这个是可能的吗？gnu并行是否能很好地利用可用

浏览 0提问于2014-07-31得票数 11

回答已采纳

1回答

GNU并行和GPU？

gpu、gnu-parallel

我感兴趣的是让GNU并行在GPU上运行一些数值计算任务。一般说来，以下是我的初步方法：我的方法/用例是否受益于GNU并行的使用(也就是说，我甚至应该在这里使用它)？GNU并行提供了在GPU上<e

浏览 3提问于2019-03-04得票数 2

回答已采纳

1回答

STXXL:排序过程中有限的并行性？

sorting、stxxl

我使用一个stxxl::VECTOR_GENERATOR<MyData>::result::bufwriter_type (大约100米条目)填充一个非常大的数组，需要并行排序。但是，在此方法的执行过程中，我注意到只有一个处理器被完全利用，而所有其他内核都非常空闲(我怀疑获取输入的活动很少，但实际上它们什么也不做)。这就是我的问题:在排序阶段是否有可能利用更多的内核，或者并行性仅仅用于异步获取输入？如果是，是否有解释如何启用它的文档？(我在

浏览 1提问于2014-01-25得票数 2

2回答

从bash中的文件中维护一定数量的并发作业w/ args

bash

这是我的剧本：for i in `cat targets`CONTOR=`ps aux | grep -c php` sleep 0.1php b $i > /dev/null &我的目标是正确的知道，似乎他打开了一个线程后，执行ps -aux。

浏览 2提问于2015-02-24得票数 2

回答已采纳

2回答

GNU并行能执行更多的并行进程吗？

linux、gnu-parallel

例如，我可以执行：凡“名单”有：nice -n -20 parallel -j 100 < list1 这是否可行/可能？

浏览 0提问于2014-04-10得票数 8

1回答

在GNU并行中向并行运行进程添加更多核心

parallel-processing、gnu-parallel

我使用GNU并行来并行运行几个作业。你有什么建议吗？

浏览 2提问于2017-04-27得票数 6

回答已采纳

2回答

平行永恒回路(不退出回路)

linux、bash、parallel-processing、supervisord、gnu-parallel

我目前使用并行方式在一定的时间内运行一个命令，如下所示其中：-j2 =两个“某些命令”的并行实例问题:到达999后，并行命令不再按预期退出，“某些命令”不再在主管下调用。在完成循环之后，有什么方法可以自然地并行退出吗？并行-版本GNU并行20130922版权(C)

浏览 5提问于2017-07-09得票数 1

回答已采纳

1回答

在shell中运行一个进程池

linux、process、pool

我正在寻找一种简单的方法，可以使用一个命令同时运行N选定的进程。它应该将所有输出放在我的终端上，并在我使用ctrl+c退出时关闭所有输出。有任何现有的应用程序可以做到这一点吗？我在想一些像exec_many 10 foo这样的东西--它应该能让10 foos运转起来，并使任何死去的人重生。

浏览 0提问于2010-04-21得票数 5

回答已采纳

1回答

同时使用多处理和GNU并行？

python、concurrency、parallel-processing、python-multiprocessing、gnu-parallel

我有一个Python脚本，它目前正在使用多处理并行执行任务。我的顾问建议我使用GNU并行来加快速度，因为Python程序总是在单个内核上执行。我应该保持多处理脚本的原样，并在上面使用GNU并行吗？还是应该删除多处理部分，然后使用GNU并行？有什么不同吗？

浏览 7提问于2022-04-09得票数 1

回答已采纳

点击加载更多