运行并行处理时重命名输出文件

文章/答案/技术大牛

发布

1回答

python、parallel-processing、operating-system、file-rename

我想要并行运行一个脚本来生成一个输出文件，假设它被称为' output‘。如何重命名输出文件，使其不被覆盖？比如将它们生成为“output-1”、“output-2”等。理想情况下，它具有足够的动态性，以便再次运行脚本不会覆盖现有的输出。

浏览 10提问于2019-09-07得票数 0

回答已采纳

1回答

重命名多个进程试图使用的文件

windows、file-io、concurrency、java-5

我有两个应用程序并行运行，这两个应用程序都执行以下操作：我获得文件并锁定它们，这样其他应用程序就无法处理它。但是当涉及到重命名文件时，我遇到了一个问题。要重命名

浏览 5提问于2014-03-01得票数 1

回答已采纳

1回答

如何在Bash中为GNU并行创建堆栈或LIFO

bash、parallel-processing、gnu、gnu-parallel、lifo

背景如果队列中没有任何内容，那么并行也需要等待一个新行，并在队列完成后退出。解决方案mkfif

浏览 2提问于2015-08-25得票数 3

回答已采纳

2回答

如何检查在python中是否打开了用于在windows上写入的文件？

python、windows

我们这里有一个工作过程，其中一个输入文件是由SAS创建的。然后，该输入文件由遗留应用程序读取，该遗留应用程序将创建结果。然后，SAS读取结果并对其进行总结。非程序员通常一个接一个地处理这些动作。所以这个人只是创建了输入文件。他们知道什么时候完成，然后运行遗留应用程序，并且知道什么时候完成。然后他们运行简要程序。我有一种情况，我的老板想要运行大约100个变体。这是我的计划:使用计算机A，我开始创建100个输入文件，一个一个。使用计算机B，我在每个输入<

浏览 2提问于2010-11-09得票数 2

回答已采纳

3回答

并行读写

c#、io

我希望能够并行读写一个大文件，如果不是并行读写，至少是分块读写，这样就不会占用太多内存。memoryStream.Close();如您所见，它将整个文件读取到内存中，对其进行加密，然后将其写出。如果我碰巧加密非常大的文件(2GB+)，它往往不会工作，或者至少会消耗我97%的内存。我怎样才能以更有效的方式做这件事呢？

浏览 3提问于2010-05-26得票数 2

回答已采纳

1回答

无法对批处理创建的文件执行任何操作。

java

这就是我试图实现的目标:从JAVA程序运行一个批处理文件。批处理在一个特定的文件夹中创建一个新文件，比如文件夹'A‘。创建新文件后，JAVA程序将新创建的文件从文件夹'A‘移动到文件夹'B’。created by batch boolean result2= ediOutFile.renameTo(new File(processedFolder, ediOutFile

浏览 2提问于2012-05-04得票数 1

2回答

重命名服务器cpanel jailshell上的文件

linux、shell、unix、jail-shell

我试图重命名服务器上的文件，以从文件名中删除特殊字符(空格、等)。问题是我无法让重命名函数工作。在我的本地机器上，重命名函数按预期工作。rename 's/[^a-zA-Z\.0-9]*/_/g' *.mp3 但是，在服务器上，上面的调用没有任何效果。ALso，没有错误消息。服务器上没有可用于重命名函数的手册页，而且当我尝试时 rename --hel

浏览 1提问于2014-04-11得票数 1

回答已采纳

1回答

git冲突重命名/大量文件更改

git、git-merge

我有一个长时间运行的特性分支，它从重命名我的web应用程序的主文件夹开始，但相当地包含了其他的更改。解决这一问题的最佳策略是什么？

浏览 3提问于2016-08-02得票数 1

回答已采纳

1回答

如何并行运行多个PHP脚本，并将每个脚本的输出重定向到一个文件？

batch-file

假设我有一个PHP脚本，它从命令行获取两个参数，并将它们作为输出输出。start "" php index.php 1 2 >> tmp1.txt它并行地运行它

浏览 5提问于2015-12-21得票数 4

回答已采纳

1回答

Spring batch中的并行处理

multithreading、spring、spring-batch

我有一个批处理，它正在执行以下操作步骤2:使用MultiResourceItemReader读取文件，进行一些处理并写入另一个数据库。这一步使用MultiResourcePartitioner并行化现在，为了获得更好的性能，我希望将步骤1和步骤2并行化，以便在步骤1完成文件写入时，步骤2将获取该文件并开始处理。当文件</

浏览 2提问于2014-01-27得票数 1

1回答

执行并行代码顺序部分(大型操作+写入文件)的有效方法？

mpi、parallel-processing

我有一个使用mpi的C++代码，并以顺序并行顺序模式执行.上述模式在时间循环中重复。在用串行代码验证代码的同时，我可以得到并行部分的时间缩减，实际上，减少与处理器的no几乎是线性的。我面临的问题是，当使用较高的处理器no时，顺序部分所需的时间也会大大增加。与整个程序的总时序时间相比，并行部分执行所需的时间更短。因此，虽然在使用处理器的较高no时，并行部分的时间减少了，但由于执行顺序部分时时间的增加，节省了大量的时间。此外，顺序部分包

浏览 3提问于2011-07-28得票数 3

1回答

在自定义Vue-Cli模板中重命名文件

vuejs2

我希望能够根据用户对meta.json的“提示”部分的回答重命名模板中的一个文件。提到，您可以通过meta.json中的" metalsmith“属性注册自定义金属匠插件。我认为这将是重命名文件的正确位置，但是如何从这里获得用户对"promts“的答复？注意:文档还提到了一个“完整”处理程序，当模板呈现完成时，它可以运行代码，并且这个处理程序将用户的提示数据作为参数。不幸的是，调用此函数时的cwd是模板目录，而不

浏览 2提问于2017-06-12得票数 3

1回答

重命名Shell脚本的输出

bash、shell

我正在尝试创建一个运行另一个脚本并从输出中更改名称的脚本。#!它只是移动文件并重命名它们。但是，如果有一种获取文件夹名称的方法，即文件位于其中或文件</em

浏览 3提问于2012-05-01得票数 0

2回答

如何动态缩放星团/qsub/ec2以跨多个节点运行并行作业

python、hadoop、qsub、parallel-python、starcluster

我必须解压缩和解压缩它-->我运行tar xvf tarfilename.tar平行pbzip -d来解压缩和解压缩。我目前有一个并行python脚本，它运行在16

浏览 6提问于2013-03-11得票数 1

4回答

并发执行多个批处理文件，并监视它们是否已完成。

windows、batch-file、cmd、parallel-processing

我有一个主批处理文件，它调用多个批处理文件。我希望能够同时执行所有这些批处理文件。一旦它们都完成了，我有更多的进程需要在主批处理文件中继续进行。当我使用'Start‘来调用多个批处理文件时，我能够同时启动所有批处理文件，但是我失去了对它们的跟踪。(主批处理文件认为它们的过程在执行其他批处理文件

浏览 11提问于2017-05-03得票数 3

回答已采纳

1回答

install4j -希望更改'updates.xml‘的名称

install4j

有没有办法更改install4j在构建过程中创建的'updates.xml‘文件的名称？我知道我可以在构建运行后重命名文件，然后在我的服务器上有一个自定义的URL，但我们有多个构建在不同的线程上并行运行。他们都把他们的输出放在相同的媒体文件夹中。

浏览 11提问于2018-12-18得票数 2

回答已采纳

1回答

地图推理:减速机比映射机多？

hadoop、mapreduce

在我的分布式系统课程中，我们开始讨论分布式计算的地图缩减模型。在地图还原架构中，拥有比映射器更多的还原剂有什么好处呢？

浏览 5提问于2013-08-02得票数 5

回答已采纳

5回答

同时运行两个进程的命令或代码(并行)

bash、shell、parallel-processing

我有两个进程：第二个过程是一个脚本，它对文件resu.txt进行计算。这个脚本的名称是calcule.sh，我用:运行它。/ Calcul.sh 我想同时运行两个进程。即有两个并行进程。我如何能够并行运行两个进程(./ Vlc视频>> resu.txt和./ Calcul.s

浏览 0提问于2012-09-18得票数 1

1回答

并行运行目录中的每10个文件

bash、awk、command-line、grep、command-line-arguments

我在bash中有以下命令，它接受目录中的输入图像，执行可执行文件“execute”，并在“results”中输出一些图像结果，在文本文件$file中输出一些文本注释。问题是我需要为每10个文件并行运行它。似乎可以编写一个shell脚本来每隔10个月处理一次。然而，我还没能让并行部分工作。如何将(输入图像的)文件名作为输入参数传递给-r，并仍然并行运行？

浏览 0提问于2015-11-16得票数 0

1回答

Shell + Python文件读写问题的并行化

python、bash、parallel-processing

我有一个项目，在这个项目中，我必须定期使用shell脚本对文件进行一些预处理。它必须按照项目要求和遗留原因这样做--我继承了这段代码的大部分。处理完这些文件后，输出文件将由Python脚本进一步处理。有没有什么好的方法可以并行运行呢？现在，这是我的工作流程的样子。如果可以并行化一组(一个文件shell --> Python --> SQL )或并行每个任务(并

浏览 18提问于2020-04-23得票数 0

点击加载更多