多个(带有一个固定的)GNU并行参数
多个(带有一个固定的)GNU并行参数是指在GNU并行计算框架中，可以同时指定多个参数来实现并行计算的技术。GNU并行计算框架是一个开源的并行计算工具，它提供了一套丰富的参数和功能，用于实现高效的并行计算。
在GNU并行计算框架中，可以使用多个参数来控制并行计算的行为和结果。这些参数可以根据具体的需求进行调整，以实现最佳的并行计算效果。以下是一些常用的GNU并行参数：
- -j, --jobs：指定同时运行的作业数。可以通过设置该参数来控制并行计算的并发度，从而提高计算效率。
- -n, --max-procs：指定最大的进程数。可以通过设置该参数来限制并行计算的进程数量，以避免资源过度占用。
- -P, --parallel：指定并行计算的方式。可以通过设置该参数来选择不同的并行计算模式，如任务并行、数据并行等。
- -S, --semaphore：指定并行计算的信号量。可以通过设置该参数来控制并行计算的同步机制，以避免竞态条件和数据冲突。
- -B, --buffer-size：指定缓冲区的大小。可以通过设置该参数来优化数据传输的效率，减少通信开销。
- -T, --timeout：指定超时时间。可以通过设置该参数来限制并行计算的执行时间，以避免长时间的计算阻塞。
- -L, --load：指定负载均衡的方式。可以通过设置该参数来实现任务的动态分配和调度，以提高计算效率。
这些参数可以根据具体的应用场景和需求进行灵活配置，以实现最佳的并行计算效果。在腾讯云的云计算平台中，可以使用腾讯云的云服务器、容器服务、函数计算等产品来支持并行计算的需求。具体产品介绍和相关链接如下：
- 腾讯云云服务器（ECS）：提供高性能、可扩展的云服务器实例，支持自定义配置和弹性伸缩，适用于各种计算密集型任务。详细信息请参考：腾讯云云服务器
- 腾讯云容器服务（TKE）：提供全托管的容器服务，支持快速部署和管理容器化应用，适用于大规模的并行计算和分布式任务。详细信息请参考：腾讯云容器服务
- 腾讯云函数计算（SCF）：提供事件驱动的无服务器计算服务，支持按需执行代码逻辑，适用于短时、低频的并行计算任务。详细信息请参考：腾讯云函数计算
通过合理配置并利用腾讯云的云计算产品，可以实现高效、可靠的并行计算，提升计算效率和性能。
相关·内容
我正在运行带有-j标志的大型GNU Make文件。在某一点上，使进程溢出所有的RAM，并由于“分段错误”而失败。在没有-j标志的情况下，进程会成功完成。如何知道GNU Make在开始消耗内存时在做什么？调试标志(-d)对此问题没有帮助。
浏览 6提问于2013-04-03得票数 2
1回答
我找不到ARM GNU工具链同时编译多个c文件的选项。在使用gcc编译时，我一直使用make -j5。帮助大大加快编译时间。如果手臂GNU也有类似的选择的话，那就好了。
下面是我的设置：--Fedora 20 --核心i5 --带有ARM GNU插件的Eclipse --ARM GNU4.8-2014-Q1更新(从这里：) --目标uP: STM32F205RB
我试着让CodeSourcery GCC工作，但没有成功。手臂GNU似乎工作良好后，小设置。CodeSourcery GCC应该有一个-j选项，因为我们一直在为嵌入式linux进行交叉编译。
浏览 1提问于2014-05-10得票数 0
回答已采纳
1回答
我感兴趣的是让GNU并行在GPU上运行一些数值计算任务。一般说来，以下是我的初步方法：
编写使用OpenCL或其他GPU接口库的任务
在任务列表中调用GNU并行(我不确定这一步的必要性)
这就提出了以下问题：
我的方法/用例是否受益于GNU并行的使用(也就是说，我甚至应该在这里使用它)？
GNU并行提供了在GPU上并行运行任务的内置机制吗？
如果是这样的话，我如何配置GNU并行来做到这一点？
浏览 3提问于2019-03-04得票数 2
回答已采纳
2回答
我有一个程序，我想要创建N个实例，其中唯一的变化是一些超参数$\beta$。
在我的脑海中，我知道我可以使用bash脚本来完成这个任务，在这个脚本中，我调用程序N次，每次调用$\beta$的值都不同，然后将每个程序发送到后台，以便下一个程序能够运行：
#!/bin/bash
nohup python3 test.py 1 >> res.txt &
nohup python3 test.py 2 >> res.txt &
nohup python3 test.py 3 >> res.txt &
nohup python3 test.p
浏览 0提问于2019-05-19得票数 3
回答已采纳
3回答
我正在使用ndk-build运行一个Android NDK make文件，这只是一个普通的gnu make，与google makefile模板一起运行。我正在使用ndk-build -j8运行它，并且我可以确认make命令行确实可以使用-j8运行
但是，编译过程会逐个编译我的源文件，而不是一次运行一次clang++。这并不总是这样的。就在几天前，我使用了相同的脚本，它使用了全部8个内核，而且速度要快得多。
是什么让gnu一下子不尊重-j8？
有没有办法让gnu make产生一些关于这方面的解释信息？各种--debug选项似乎并没有涉及到这一点。
从OSX 10.10.5运行，gnu make
浏览 0提问于2015-10-13得票数 2
如何下载包含curl和xargs的文本文件中的多个文件？这是我最后一次审判：
cat listfile.txt | xargs curl -O
第一个文件运行良好，但其他文件只是输出到stdout。
浏览 0提问于2010-06-29得票数 7
回答已采纳
我希望在shell脚本中依次运行traceroute -w2和traceroute6 -w2，以尝试多个不同的主机。
一种简单的方法可能只是使用一个临时变量来收集内部的所有主机(例如，将HOSTS设置为ordns.he.net one.one.one.one google-public-dns-a.google.com)，然后将其单独输送到每个命令，例如echo $HOSTS | xargs -n1 traceroute -w2等，但这在tcsh中的工作方式与在bash中不同，如果您想要添加更多的命令(因为您将这些命令作为代码添加，而不是要执行的事情列表)，则可能会出错，我认为有更好的方法来将
浏览 0提问于2019-01-05得票数 1
回答已采纳
3回答
我对bash中的并发性和并行性有点困惑。据我所知，当我们同时在多个子these中运行命令时，这些命令在单个处理器核上并行运行。
例如，
；
cmd1 & cmd2 & cmd3 &
在这里，"ampersand“符号在每个命令的后台(也称为子other )中运行，在相同的time.It中可以以其他方式在子other中创建。(比如在圆括号中写字或使用管道)。
在这个方向上，我想知道问题的答案；
bash通过子other提供并行性，另一方面，在Bash上使用另一种方法也可以实现并发性？据我所知，并发的工作方式是单个CPU间歇执行操作。我是否需要在外部实现一个方法来
浏览 0提问于2020-10-22得票数 2
2回答
我有一个URL列表( 5000+ )，我需要发送25个URL与内部服务并行。我知道如何使用一个查询发送URL请求。
curl -s http://192.168.150.113:9999/app.boxx.com
我试着用GNU parallel，
while true;do parallel -j25 curl -s http://192.168.150.101:9999/'{}' < list;done
使用GNU parllel好吗？它工作良好，但我觉得响应非常慢，响应类似于单个API请求。
相反，我们可以在每个urls的末尾使用符号(&)并并行发送请求吗
浏览 0提问于2018-06-04得票数 2
回答已采纳
4回答
使用GNU parallel：
我有一个接受两个参数的程序，例如
$ ./prog file1 file2
$ ./prog file2 file3
...
$ ./prog file23456 file23457
我使用的是一个生成文件名对的脚本，但是这带来了一个问题，因为脚本的结果是一个单一的字符串，而不是一个对。像这样：
$ ./prog "file1 file2"
GNU parallel似乎有一系列的技巧，我想知道是否有一个分隔符拆分文本：
$ generate_file_pairs | parallel ./prog ?
# where ? is text
浏览 2提问于2011-06-07得票数 45
回答已采纳
2回答
我试着从：http://git.savannah.gnu.org/cgit/parallel.git/tree/README执行完整的安装
安装是成功的。它在Mac上安装时运行良好，但在Amazon (RHEL64)上，我面临以下问题：
在运行parallel时，该命令将静悄悄地退出。dev dsk%并行开发-dsk%
在运行任何命令时，即使是parallel --version也会给出以下错误: dev-dsk %并行--版本并行:无效选项--“”--“--”并行选项命令--为每个参数设置参数，运行带有参数的命令，并行运行选项 --命令在运行parallel --gnu时并行运行指定的命令。
浏览 0提问于2019-04-13得票数 1
回答已采纳
3回答
如何让一个unix命令(比如在一个大文件上使用cut和awk的一行代码)使用所有16个内核，而不是只使用1个？这不是一个我可以使用-j并指定要使用的CPU数量的程序。
浏览 6提问于2011-04-27得票数 3
2回答
我有一个程序只需要一个论点。我使用gnu并行来对这个参数执行参数清除。每次运行都会生成一个结果，我希望将所有结果附加到一个文件中，比如Results.txt。
这样做的正确的方法是什么？
我不应该让每个实例打开并写入文件，因为这可能会造成冲突，也会扰乱结果的顺序。我能想到这样做的唯一方法是让每次运行都在一个具有唯一名称的文件中生成其输出，然后，当gnu并行完成运行时，使用一个脚本将结果合并到一个文件中。
有更简单的方法来实现这一点吗？
当多个实例从同一个文件写入/读取时会发生什么？gnu并行是否为每个实例创建多个副本，就像对stdout和stderror一样？
谢谢
浏览 1提问于2013-11-13得票数 4
回答已采纳
1回答
是否有可能从由gnu并行生成的脚本的多个运行中调用gnu并行？
我有一个用于运行序列迭代的python脚本，在每次迭代的某个地方，有4个值是并行计算的(使用gnu并行)。现在我想同时生成多个这样的脚本，再次使用gnu并行。这个是可能的吗？gnu并行是否能很好地利用可用的核心？
例如，如果在内循环中，在4个值中，2个已经完成，2个正在运行，因此在计算所有4个值之前，单个脚本无法继续下一个迭代。这两个自由内核会被用来自动计算不同脚本运行的结果吗？如何指定可用内核的总数？在内部调用并行调用还是外部调用？
问题表明嵌套并行调用是可能的，但我不确定当我从脚本中调用嵌套并行时，这种情况是否会改变。
‘.’
浏览 0提问于2014-07-31得票数 11
回答已采纳
1回答
我最近安装了Qt4，尽管我已经安装了一些Qt5库，因为应用程序似乎需要Qt4。不幸的是，该应用程序还使用了mayavi，当它试图导入其mlab模块时，该应用程序现在将分割错误。我设法将分段错误的原因隔离到以下导入，这两个导入都是导致崩溃的必要条件：
me@Bedrock:~$ python
Python 2.7.12 (default, Nov 19 2016, 06:48:10)
[GCC 5.4.0 20160609] on linux2
Type "help", "copyright", "credits" or "license&
浏览 2提问于2017-03-22得票数 0
回答已采纳
3回答
我在文本文件中有一个难看的JSON对象列表，每行一个。我想让他们很好地打印，并将结果发送到一个文件。
我尝试使用命令行python版本的json.tool：
parallel python -mjson.tool < jsonList
但是，当python的json.tool试图将其作为多个参数打开并抛出时，在解析这个json时似乎出现了一些问题：
IOError: Errno 2没有这样的文件或目录：{行内容，其中包含单引号、空格、双引号}
我如何强迫它将每个行分隔的对象作为模块的一个参数处理？在python中直接打开文件并对其进行串行处理是一个效率低下的解决方案，因为该文件是巨大的。
浏览 9提问于2013-08-22得票数 1
回答已采纳
2回答
gnu并行与多处理
、、、
multiprocessing模块和GNU并行有什么区别？另外，如果使用不同，哪种情况下是最理想的。
我试图对tesseract进行并行化，并发现有人建议在tesseract问题上使用GNU并行 。
我想了解，在使用一个用例之前，哪一个是理想的用例。
而且，我无法从gnu并行中获得所需的结果，我可以看到4个进程在top中运行，但它们比python花费的时间要长得多。
1)用于gnu-并行：
如所见，所需时间为8分40分
我使用以下命令：
ls image*.jpg | time parallel tesseract {} stdout -l hin
顶部输出是
2)使用多页特性的普通Tesse
浏览 4提问于2019-09-18得票数 2
假设我在TensorFlow (Python接口)中有下面这行代码：
z = tf.matmul(W_1,x_1) + tf.matmul(W_2,x_2) + ... + tf.matmul(W_N, x_N) + b
以上N个操作都是独立的，结果在z中累加。例如，TensorFlow会独立启动N个内核，然后累加结果，还是会连续处理N个操作？
我之所以这样问，是因为这会影响到我需要花费多少精力来向量化操作，而代价是降低了可读性和便利性。我希望TF异步启动所有N个GPU内核，在z中累加输出，并返回结果。
此外，假设TF确实并行处理上述语句，对此是否有任何限制？例如，如果我在For循环中(或在带
浏览 1提问于2016-10-13得票数 2
我使用gnu并行在一个高性能(HPC)计算集群上启动代码，该集群每个节点有2个CPU。集群使用扭矩便携式批处理系统(PBS)。我的问题是澄清GNU并行的--作业选项在这个场景中是如何工作的。
当我运行一个调用GNU并行的PBS脚本时，没有--作业选项，如下所示：
#PBS -lnodes=2:ppn=2
...
parallel --env $PBS_O_WORKDIR --sshloginfile $PBS_NODEFILE \
matlab -nodiplay -r "\"cd $PBS_O_WORKDIR,primes1({})\"" ::: 10 2
浏览 6提问于2014-03-06得票数 9
回答已采纳
2回答
我想解压缩多个文件，
使用，我找到了以下命令。
find -name '*.zip' -exec sh -c 'unzip -d "${1%.*}" "$1"' _ {} \;
如何使用GNU与上述命令并行解压缩多个文件？
编辑1:根据用户提出的问题
文件在哪里？
所有zip文件通常位于一个目录中。
但是，根据我的假设，命令会根据find命令中给出的深度找到所有文件，即使是递归/非递归的。
这些文件是如何命名的？
abcd_sdfa_fasfasd_dasd14.zip
通常是如何解压缩单个的？
unzip abcd_sd
浏览 6提问于2019-12-24得票数 10
回答已采纳
我正在尝试用gnu并行链接几个命令。这些命令涉及前面定义的环境变量。例如，考虑下面的命令，它接收*.c文件列表，使用clang将llvm字节码发送到.bc文件，并将其优化为带有opt的.rbc文件。
parallel --halt now,fail=1 'clang -Xclang -disable-O0-optnone -S -c -emit-llvm {} -o {.}.bc ; opt -S -mem2reg {.}.bc -o {.}.rbc ' ::: "${source_files[@]}"
上面的程序工作得很好，但是如果我用一个环境变量来改变cla
浏览 0提问于2018-11-08得票数 1
回答已采纳
1回答
多线程中分裂的gnu并行单作业
、、、、
我想要启动一个单一的作业，它接受两个参数，并将它的执行分割到使用GNUparallel的CPU 128个线程之间。我解释了我做了什么和我是怎么做的，并寻求帮助。
我有一个bash脚本"job.sh“，其中我定义了两个变量并启动了一个作业
#!/bin/bash
first=70
second=10
./executable $((first-1)) $second
echo "$first $second"
现在，我想使用GNU并行的方式，在服务器的CPU的128个线程中拆分这个密集的工作。
在阅读了文档之后，我尝试用./executable $((first-1
浏览 3提问于2021-12-23得票数 1
回答已采纳
我必须承认，我正在阅读gnu并行文档，但我找不到我要找的东西。我需要运行一段有多个选项的代码。该代码是数学密集型的，在单核运行的3 3Ghz计算机上需要5天。我以前在-fopemp中使用过gfortran，但现在我正在运行这段C代码，所以gnu并行似乎就足够了。现在问题来了，我需要使用nice和nohup使用以下选项执行wcmap.c：
nohup nice -n 19 ./wcmap --slon_min 74.5 --slon_max 74.5 --ll_0_min 325 --ll_0_max 340 --bet_min 0.0 --bet_max 15 --vg 38.9 --ll_0
浏览 0提问于2013-06-06得票数 1
1回答
像GNU那样的并行化？
、、、
我需要执行多个蚂蚁任务。它们不需要在同一个JVM中运行，一个类似于gnu的fork()-ed执行这次是完美的(*)。
但是，我需要的是一个带有-j标志的gnu make的功能:我需要能够限制并行运行的任务的最大数量。这是主要的问题，在我目前的尝试(子任务)，我没有找到任何选项。
那么，有解决问题的办法吗？我真的不会用exec任务调用gnu make .
(*)是的，我知道这是无效的，请不要为此担心。在正常情况下，我也更喜欢多线程解决方案，但现在有一些特殊的情况。
浏览 1提问于2015-01-28得票数 1
回答已采纳
我有一个目录，其文件如下所示：
id1_1.txt
id1_2.txt
id2_1.txt
id2_2.txt
我需要将这些文件作为一对(例如id1_1.txt和id1_2.txt)传递给my_script。
以下是我认为有用的东西
parallel -j +0 -X python my_script.py -1 {} -2 {= s/_1/_2/ =} -o /output/dir/good /output/dir/bad ::: /my/dir/*_1.txt
其中-1将是以_1.txt结尾的文件，而-2将是其终止_2.txt的合作伙伴。
my_script识别选项-1的输入，但不识别选项
浏览 0提问于2018-07-22得票数 1
回答已采纳
4回答
unix find(1)实用程序非常有用，它允许我对许多符合特定规范的文件执行操作。
find /dump -type f -name '*.xml' -exec java -jar ProcessFile.jar {} \;
以上内容可能会在特定目录中的每个XML文件上运行脚本或工具。
假设我的脚本/程序占用大量CPU时间，我有8个处理器。最好一次处理多达8个文件。
GNU允许使用-j标志进行并行作业处理，但是find似乎没有这样的功能。是否有一种替代的通用作业调度方法来解决这个问题？
浏览 0提问于2010-10-21得票数 61
回答已采纳
我有一个包含所有搜索字符串的文件，我从该文件中获取所有字符串，并将它们逐个添加到另一个文件中，现在这需要很长时间才能实现并行命令。
while read line; do
line2=`grep -w "$line" $file2`
if [[ ! -z $line2 ]]
then
echo "$line: present" >> exclusion_list_$.txt
echo "$line2" >> exclusion_list_$.txt
echo "grep line $line2
浏览 0提问于2020-07-30得票数 1
回答已采纳
我使用GNU并行来并行运行几个作业。
我想知道GNU并行是否包括允许向已经并行运行的进程添加n个核心的命令。
你有什么建议吗？
浏览 2提问于2017-04-27得票数 6
回答已采纳
1回答
我想做这样的事
find ./ -type f | parallel --gnu convert "{}" "$(basename "{}" pdf)jpg"
但是它不起作用(文件被重命名为filename.pdfjpg)。我认为问题在于子进程是立即执行的(甚至在调用parallel之前)。我希望对每个文件执行子进程。
多亏了，我才能做到：
find *.pdf -exec sh -c 'convert "$1" "$(basename "$1" pdf)png"' _ {} \;
浏览 0提问于2013-08-15得票数 3
回答已采纳
我安装了moreutils，它提供了/usr/bin/parallel，这对我没有用。如果我现在想安装parallel包(GNU并行)，我从这个答案那里了解到，它将把现有的/usr/bin/parallel of moreutils重命名为/usr/bin/parallel.moreutils。
我在想如果相反的话会发生什么。例如，我已经安装了parallel包，后来有人卸载了moreutils，然后再重新安装它，它是将/usr/bin/parallel重命名为/usr/bin/parallel.gnu，还是会得到什么名称？
如果是重命名，该如何避免呢？
我现在的Ubuntu版本是：
$ ls
浏览 0提问于2019-11-25得票数 4
回答已采纳
带有Ubuntu18.04和GNU的WSL，版本4.4.20(1)-release (x86_64-pc)。
我希望通过参数(如-red、-green、-blue或类似的东西)显示带有常规命名颜色的消息(不需要最终用户用机器语法定义颜色)。
我认为即使是现代版本的printf或echo也不能做到这一点。
我更喜欢内置的外壳，而不安装任何东西。
浏览 0提问于2022-03-12得票数 1
cat ips.txt | xargs -I% curl -s http://ipinfo.io/%/geo > temp.txt
这里，ips.txt是一个包含IP地址列表的文件，每行一个。示例：
103.240.8.0
116.236.230.0
这在Mac的终端上运行得非常好：
{
"ip": "103.240.8.0",
"city": "Nagpur",
"region": "Maharashtra",
"country": "IN",
"l
浏览 0提问于2017-04-20得票数 -1
3回答
我创建这个脚本是出于无聊，唯一的目的是使用/测试GNU并行，所以我知道它并不特别有用或优化，但我有一个脚本，它将计算n以下的所有素数：
#!/usr/bin/env bash
isprime () {
local n=$1
((n==1)) && return 1
for ((i=2;i
使用循环运行时：
$ time ./script.sh 5000 >/dev/null
real 0m28.875s
user 0m38.818s
sys 0m29.628s
我希望用GNU并行代替for循环将使运行速度大大加快，但这不是我
浏览 0提问于2020-01-25得票数 2
回答已采纳
1回答
我有一个python脚本，它使用函数从桶中临时下载文件，将它们转换为ndarray，最后将其保存到另一个桶中(最终大小为10 it )。
我需要运行这个脚本200次，所以我创建了一个sh文件run_reshape.sh，以并行执行以下布局的运行：
#!/bin/sh
python3 reshape.py 'group_1'
python3 reshape.py 'group_2'
...
我一直试图以以下方式使用GNU Parallel并行处理这些运行：
parallel --jobs 6 --tmpdir scratch/tmp --cleanup <
浏览 1提问于2021-11-08得票数 0
回答已采纳
1回答
摩托罗拉提供了一个交叉编译工具链，用于为他们的机顶盒VIP1710构建软件。你必须把它解压缩到/usr/local/kreatel，然后你就有了一个构建工具树：
./bin
./bin/mipsel-kreatel-linux-gnu-addr2line
./bin/mipsel-kreatel-linux-gnu-ar
./bin/mipsel-kreatel-linux-gnu-as
./bin/mipsel-kreatel-linux-gnu-c++
./bin/mipsel-kreatel-linux-gnu-c++filt
./bin/mipsel-kreatel-linux-gnu
浏览 5提问于2011-04-27得票数 0
回答已采纳
2回答
我在SGE上提交一个带有参数-l的作业，如下所示：
qsub -pe orte 4 -l nodes=4 run.sh
但是，系统会显示：
Unable to run job: unknown resource "nodes".
你能告诉我为什么和如何解决它吗？非常感谢!
浏览 1提问于2015-01-03得票数 0
3回答
我正在我的36台核心服务器(EC2 c4.8xlarge/Amazon )上运行这样的命令。
find . -type f | parallel -j 36 mycommand
要处理的文件数量为1,000,000，这需要几十分钟。它应该同时运行36个进程。然而，从top的结果来看，最多只有10个进程，其中70%处于空闲状态。ps显示了更多的进程，但大多数进程都已失效。
我猜想这是因为每个mycommand完成得太快，parallel无法赶上产生新的进程。因此，我尝试parallel --nice 20将更多的CPU时间分配给parallel本身，但这是行不通的。
有谁有办法改进这一点吗？
$
浏览 0提问于2016-05-31得票数 2
回答已采纳
我想要批量加载到PostgreSQL数据库，有几个文件，并且非常大。我刚刚在上读到关于GNU Parallel和GNU SQL的文章，它看起来很棒，有人能帮我举一个使用GNU Parallel，GNU SQL和\copy或COPY来批量加载到PostgreSQL的例子吗？
浏览 1提问于2013-03-02得票数 2
我有一个由openMP加速的程序，在并行区域中，像std::nth_element，std::sort，std::partition这样的函数被调用。实际上，这些函数用于处理数组中每个openmp线程的相应部分。
最近，我发现g++已经实现了上述函数的并行版本，所以我想知道我应该在#pragma omp task或#pragma omp for region中使用像__gnu_parallel::nth_element这样的函数吗？如果我使用并行模式，线程总数是否会超过omp_set_num_threads()设置的限制，从而导致更差的加速？
浏览 1提问于2015-05-31得票数 4
我有一个脚本run_md.py，它从名为test.pdb的输入文件中生成文件test.dcd。我希望使用GNU并行方式对远程服务器上的多个输入文件(test*.pdb)执行相同的命令，并将结果传输回本地计算机。因此，我使用以下命令：
parallel --trc {.}.dcd -j 2 -S $SERVER1 './run_md.py {} 1000' ::: test*.pdb
该命令按照预期的方式在服务器上运行，使用两个插槽。但是，文件没有被传回，我得到以下错误：
rsync: link_stat "/home/bougui/{.}.dcd" failed
浏览 8提问于2016-06-27得票数 0
回答已采纳
5回答
我有带有cca 26000文件的目录，我需要在所有这些文件中加入grep。问题是，我需要它越快越好，所以编写脚本并不理想，grep将从find命令获取一个文件的名称，并将匹配写入到文件。在发布“参数列表太长”之前，cca在所有这些文件中花费了2分钟才到达grep。有什么办法吗？编辑:有一个脚本一直在创建新文件，所以不可能将所有文件放到不同的目录中。
浏览 0提问于2013-08-07得票数 16
回答已采纳
当我在使用akka同步执行元的API上运行负载测试时(使用带有20秒超时的ask模式，下面是代码片段)，API调用一个微服务，该微服务与Oracle DB交互以进行get操作。
但是在负载测试期间(每秒100个请求)，我看到很多超时异常，在外部微服务和Oracle中都没有看到任何错误。当使用fork join executor时，故障非常少，但使用线程池执行器时，我看到频繁的故障。
代码片段：
Timeout timeout = new Timeout(Duration.create(interaction.getActorTimeOut(), TimeUnit.SECONDS));
Futu
浏览 0提问于2018-06-22得票数 1
1回答
我正在使用一种名为IAMR的流体求解器，我正试图通过我的学校集群使它执行得更快。我有添加节点和指定任务的选项，但我不知道模拟运行的区别是什么。我正在尝试呈现一个模拟，到目前为止，以下slurm脚本已经工作了：
=============================
#!/bin/bash
#SBATCH --job-name=first_slurm_job
#SBATCH -N 10
#SBATCH -p debug_queue
#SBATCH --time=4:00:00 # format days-hh:mm:ss
./amr3d.gnu.MPI.OMP.ex
浏览 0提问于2020-11-05得票数 1
回答已采纳
1回答
我有一个多个文件夹，每个文件夹大约有1500个文件。我有一种for循环，遍历每个文件夹，然后根据环境将文件发送到一个或4个远程主机。目前我正在使用rdist。我拥有的几乎每个文件都在每天进行更改，有时只是更改文件中的日期和时间。
我遇到了一些命令，如pscp、prsync以及GNU并行。我在多个主机上进行了pscp和rdist的实验，两者的结果相似。
rdist和prsync在性能上有什么区别？我的理解是prsync可以在多个主机上迁移文件，rdist也是如此。我从我的测试中了解到，无论是prsync还是rdist，不要在单个主机上并行复制多个文件，它们只能在parallel.So中的多个主机
浏览 0提问于2018-11-17得票数 4
我正在上运行Java，它使用kawa运行XQuery脚本，重定向到JSP并显示答案
package com.myserver.servlet;
import gnu.xquery.lang.XQuery;
import java.io.FileReader;
import java.io.IOException;
import javax.servlet.RequestDispatcher;
import javax.servlet.ServletException;
import javax.servlet.http.HttpServlet;
import javax.servlet.ht
浏览 1提问于2017-05-02得票数 0
回答已采纳
假设我有一个脚本，它不接收任何参数，并输出一些东西给stdout。我想这样执行
php script.php >> output.txt
我在我的Ubuntu12.04LTS机器上安装了一个parallel程序。我认为它不是GNU并行，因为手册是不同的GNU并行。
使用parallel程序，我可以这样做
$parallel -j 4 -- 'php script.php >> output.txt' 'php script.php >> output.txt' 'php script.php >> out
浏览 6提问于2014-04-14得票数 1
回答已采纳
2回答
我一直在玩一些大型的visual studio C++项目，而且构建预编译头的时间似乎比单个源文件花费的时间更多。
此后，我对项目本身进行了一些更改(启用了/MP标志，并在"Tools ==> Options“中设置了作业的最大数量)，构建速度似乎快了10%，但与相同项目的Linux相比几乎没有那么大的改进，后者在make中指定-j选项时运行速度快了近4-5倍。
首先，是否还有其他需要设置的选项来利用多核系统来提高构建速度，特别是生成预编译头？
第二，似乎通过启用多处理器支持，我不能再做“增量构建”了。如果我正确地理解了这一点，那么每个“构建”都将与一个完整的“重建”或“清洁，构
浏览 10提问于2015-08-15得票数 3
回答已采纳
1回答
在Linux64bit CentOS服务器上，我在几个文件夹上运行GNU命令，每个文件夹都包含一个相似的子文件夹结构。结构如下：
/my/group/folder/project_123/project_123-12345678/*/*file_pattern_at_this_level*
/my/group/folder/project_234/project_234-23456789/*/*file_pattern_at_this_level*
/*/文件夹星号表示每个项目文件夹中有一堆不同名称的子文件夹。
我尝试添加最后的星号，然后将find命令限制为特定的-mindepth N和-ma
浏览 5提问于2016-02-08得票数 0
回答已采纳
1回答
并行更改路径环境变量
、、、
为了在远程机器上运行带有多个参数的脚本，我尝试使用GNU并行。这看起来有点像：
parallel --onall -S remote-machine /shared/location/script.sh ::: param_a param_b
/shared/location/script.sh正在使用git。所以我得到了这个错误：
git: command not found
如果我手动登录到remote-machine，并使用param_a或param_b运行/shared/location/script.sh，一切都可以正常工作。所以我检查了$PATH变量，发现如果我使用GNU并行在r
浏览 2提问于2013-12-29得票数 1
回答已采纳
1回答
如何使用空格管道加速文本集的词法转换？目前我是这样使用的，
nlp = spacy.load('en_core_web_lg')
df['text'].apply(lambda x: len(nlp(x).ents)) # returns number of named entities
如何使用带有batch_size、线程等的nlp.pipe提取命名实体的数量。并利用多进程？
spacy_nlp.pipe(df['text'], n_threads=6, batch_size=10)
浏览 1提问于2020-03-04得票数 1
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM活动推荐
腾讯云开发者
