假设我有一个在running...but之前加载大量内容的程序，这是一个一次性的减速。/mycode 这是否会导致每个作业的负载开销？ 如果它确实导致了开销，有什么方法可以避免它吗？
浏览 14提问于2019-04-18得票数 1
回答已采纳
1回答
我有一组作业，所有的作业都可以并行运行，所以我想并行化它们，以获得更好的吞吐量。最近，我注意到GNU并行，我认为它可能有助于改进我的脚本。然而，一组作业有一些预处理
浏览 1提问于2017-03-11得票数 1
2回答
每批并行处理命令
、、
我想并行处理数据，但我担心如果我一次处理20，就会产生一些问题。所以，我想处理10个数据2次。有什么命令可以这样做吗？数据采用文件格式。它是相当庞大的，每个文件可以达到10 It。至于我的RAM，我相信处理文件的软件不会同时加载所有的东西，所以RAM的使用率很低。这就是为什么我只需要对每10个数据进行并行处理。现在，我生成10个shell脚本，它们并行执行，每个shell脚本都包含顺序命令。
浏览 0提问于2018-11-07得票数 1
回答已采纳
如果您使用--joblog path/to/logfile运行GNU并行，然后在并行运行时从上述日志文件中删除一行，则GNU并行将不再能够向其追加未来完成的作业。#!j1 -n0 --joblog log sleep 1 ::: $(seq 10) &
如果在执行之前执行tail -f log，则可以看到该并行程序
浏览 0提问于2018-11-15得票数 2
回答已采纳
1回答
在单个节点上，我能够使用$FileCounter指定的不同输入并行运行预编译函数update_OSS_internal_compiler (16个内核)。但是，我希望将这种并行处理扩展到从一个节点到多个节点，但我不确定如何处理它。
.
浏览 0提问于2016-01-29得票数 1
1回答
是否可以为每个作业发出块请求而不是请求？function $1 $2 $3 | parallel --gnu --group --interactive -k -j 4 function_run {}
在这种情况下，GNU并行是问问题来运行每个作业，但我希望问题运行下一块的4个并行作业。
浏览 0提问于2014-10-30得票数 1
回答已采纳
我的并行集群作业归结为多次运行同一个文件，每次使用不同的索引/作业ID。每个任务产生自己的子进程，每个任务总共使用4个CPU。这是一个令人尴尬的并行工作，每个任务相互独立，因此很适合GNU并行工具。问题在于，PBSpro作业管理器可以将多个作业分配给同一个节点，或者只有一个作业分配给一个节点，并且该信息必须以某种方式传递给GNU并行。使
浏览 2提问于2018-05-11得票数 3
回答已采纳
fastq.gz done为了使用GNU并行连接这些文件，我在下面创建了shell函数，但由于这些文件在实践中非常大，我希望启用一个检查，提示用户在执行每个作业之前输入“是”或“否”来验证正确的文件正在组合。如果并行同时执行每个作业，那么在用户输入“是”或“否”时<e
浏览 2提问于2022-07-25得票数 -1
回答已采纳
1回答
有任何现有的应用程序可以做到这一点吗？
我在想一些像exec_many 10 foo这样的东西--它应该能让10 foos运转起来，并使任何死去的人重生。
浏览 0提问于2010-04-21得票数 5
回答已采纳
我正在运行GNU并行来运行一个bash脚本，但是似乎GNU并行会自动杀死我的程序，我不确定为什么。当我单独运行内部脚本时，它可以正常运行。parallel --progress --joblog ${home}/data/hsc-admmt/Projects/log_a.sh -j 5 :::: a.sh
下面是GNU
浏览 0提问于2021-02-25得票数 1
1 -I % /software/Linux/itt/idl/idl81/bin/idl -e program -args %我如何才能将这个files.txt中的每一行作为字符串发送到这个IDL脚本？
浏览 0提问于2015-10-15得票数 2
3回答
每个子目录都有几个文件和一个for循环shell脚本。每个子目录中都有相同的for循环脚本。我想进入每个子目录，在几个终端中并行运行for循环脚本。我试过了，但它似乎是连续的(一个接一个)，但是我想并行地运行它们。
find dir_* -type f -execdir sh for_loop.sh {} \;
浏览 0提问于2017-05-29得票数 9
1回答
我正在我的4核PC上使用GNU Octave 4.0.0计算蒙特卡罗模拟.模拟大约需要4个小时来计算脚本50,000次(特定于我的问题)，这是一个很长的计算时间。我想知道是否有办法同时在多个核上运行Octave，以减少计算时间。
提前谢谢。
浏览 0提问于2016-05-18得票数 3
回答已采纳
我想要的是并行运行文件"Analysis.C“的多个实例，在每个实例中接受不同的输入(我猜想，这里的约束是我可以在PC上节省的核数)，并同时执行不同的实例。我该怎么做？
浏览 0提问于2018-08-31得票数 2
回答已采纳
2回答
我不知道该给它贴上什么标签：
我有一个Xcode项目与多个方案，输出多个应用程序。我有一个脚本archive_all.sh，它通过调用archive.sh来设置构建和部署(到TestFlight)每个应用程序(目前有13个)。我尝试(愚蠢的我)去做:循环中的sh archive.sh &，但我的笔记本电脑很难处理它，我计划在未来部署比13个更多的应用程序。
浏览 0提问于2012-01-12得票数 0
回答已采纳
我们有超过100 git的回复，有时我想grep的全部。for repo in *; do (cd $repo; git checkout master; git pull); done如何加快速度？我需要一种方法来减轻N个工人的负担。
有人能解决这个问题吗？
浏览 0提问于2015-07-08得票数 3
我试图使用GNU并行运行一些旧代码(例如，一次运行50个或100个实例)；但是由于遗留资源问题(叹息)，每个并行实例必须在一个单独的目录中执行。因此，我想使用-j 50，但其中：我可以看到实现这一目标的可怕方法(我在Windows 10下运行:-(
GNU是否提供了一个给定的并行作业可以用来确
浏览 2提问于2020-01-23得票数 1
因此，如果我在一个节点中有50个核，我希望在每个核上有一个事件，这样就可以在2分钟内生成50个事件，这样就可以节省时间。我以为这可以通过多线程来完成，或者任何其他方法可以做到？，那么有人能帮我吗？
浏览 0提问于2016-06-28得票数 2
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
腾讯会议
云直播
对象存储活动推荐
腾讯云开发者
