Shell + Python文件读写问题的并行化

文章/答案/技术大牛

发布

1回答

python、bash、parallel-processing

我有一个项目，在这个项目中，我必须定期使用shell脚本对文件进行一些预处理。它必须按照项目要求和遗留原因这样做--我继承了这段代码的大部分。处理完这些文件后，输出文件将由Python脚本进一步处理。有没有什么好的方法可以并行运行呢？现在，这是我的工作流程的样子。Call shell script, processing thousands of files.如果可以并行

浏览 18提问于2020-04-23得票数 0

1回答

Python与MPI进程之间的内存共享策略

python、mpi、ipc

我有一个生成系统矩阵的Python脚本。这是连续发生的，在一个处理器上，在一个进程中，没有并行化。我也有一个解算码。代码使用MPI在许多处理器上运行。目前，Python脚本创建矩阵，将其写入文件，通过subprocess.call(["mpirun ....."])调用求解器，求解器从文件中读取矩阵，进行求解，将其写回文件，最后Python脚本从文件中读取结果现在我正在寻找更有效

浏览 5提问于2017-05-16得票数 0

1回答

二进制序列化/反序列化(BinaryFormatter)在Parallel.ForEach中

c#、parallel-processing

也许这是一种复制(但我还没有在Parallel.Foreach中找到任何使用binnaryformatter的示例代码。有人能提供一个样本吗？

浏览 4提问于2013-02-21得票数 0

3回答

我有一个程序，从2个文本文件读取数据，然后将结果保存到另一个文件。由于有许多数据需要读取和写入，这会对性能造成影响，因此我希望并行读取和写入操作。我最初的想法是，以两个线程为例，一个线程从开头读/写，另一个线程从文件中间读/写。由于我的文件格式化为行，而不是字节(每行可能有不同的数据字节)，因此按字节查找对我不起作用。我能想到的解决方案是使用getline()先跳过前面的行，这可能效率不高。有没有什么好方法可以在

浏览 0提问于2010-01-03得票数 10

回答已采纳

2回答

使用TPL或异步生成大型文本文件的最佳方法

c#、io、task-parallel-library

我有一张有大约500 K唱片的桌子。做这件事的最好方法是什么？.NET任务并行或异步有用吗？这样做好吗？非常感谢你的建议。

浏览 6提问于2014-02-16得票数 1

回答已采纳

2回答

并行读写文件是个好主意吗？

r、foreach、parallel-processing

我有大量的数据文件来描述大量气象站的天气。这些文件是每小时一次，并包含在按日期分隔的文件中。也就是说，对于每个天气文件，我需要提取i站点的数据，然后将其写入磁盘。产出：station_002.csv.为了加快速度，我决定使用foreach和doMC包并行读取每天的文件，并在通过站点并行聚合后将站点文件

浏览 3提问于2014-02-28得票数 3

回答已采纳

6回答

并行文档转换ODT > PDF Libreoffice

python、bash、libreoffice

我正在将成百上千的ODT文件转换成PDF文件，这需要很长时间才能一个接一个地完成。我有一个多核的CPU。是否可以使用bash或python编写脚本来并行执行这些操作？有没有一种方法可以从命令行使用libreoffice并行化(不确定我是否使用了正确的词)批量文档转换？我已经在python/bash中调用了以下命令： libreoffice --headless --convert-to pdf *appsm

浏览 3提问于2013-02-27得票数 12

回答已采纳

2回答

Mac Automator对Python脚本和文本文件所需的文件系统权限

python、macos、automator

我不是编程新手，但我是Python和Mac的新手。我已经写了一个程序，然后我想用Mac Automator封装它(作为一个shell命令任务)。我以前使用过其他Python脚本(没有任何问题)，并且知道我需要的足够知识：我还有另一个Python脚本，但是我根本不能在Automator下运行这个脚本主要区别在于该程序依赖于文本文件。它需要能够在运行时读取、写入和删除文本文件。因此

浏览 0提问于2014-01-17得票数 0

1回答

如何从Python运行云shell命令？

python、google-cloud-platform、google-cloud-storage、apache-beam、google-cloud-shell

我一直在尝试自动化我的GCP数据流系统。由于一些并行化问题，与压缩的gzip文件相比，未压缩的txt文件加载到管道中的速度要快得多。因此，我必须首先使用中的gsutil命令将gzip文件转换为txt文件： gsutil cat gs://nse-fao-data-test/FAO* | zcat | gsutil cp - gs:&

浏览 12提问于2022-01-24得票数 0

1回答

并行Python信号量

python、parallelism、fifo、gnu-parallel、semaphore

我有一个通过GNU并行并行化的Python脚本，它找到了一个特定的结果，我想要输出到一个文件中，目前我通过标准Python文件IO完成了这个工作。问题是，我在每个并行化的线程中打开这个文件，而线程在编写时正在相互踩着脚尖。我想要实现FIFO信号量，我认为它必须在GNU并行脚本中，但是如果我从Python内部访问

浏览 0提问于2020-01-20得票数 1

1回答

shell脚本运行多个文件

bash、shell、parallel-processing

我想在并行运行100个文件的for-循环中使用shell记事本.#!/bin/bashpython a1.py $((NUM + 0)) &python a3.py $((NUM + 4)) &python a4.py $((NUM + 6)) & <e

浏览 0提问于2018-12-24得票数 6

回答已采纳

2回答

我们可以从python启动一个并行shell命令吗？

python、shell、parallel-processing

我想使用csv可执行文件：timescaledb-parallel-copy将数据从go文件插入数据库。但是，我计划使用Python读取文件名，并查找适当的表名进行插入。如果我启动timescaledb-parallel-copy作为Python子进程在shell上执行，它仍然是并行的吗？我不需要Python来使它并行，默认情况下它是并行的。我只是不想让P

浏览 36提问于2019-05-23得票数 1

回答已采纳

1回答

写入同一uWSGI文件的JSON工作线程

python、json、multithreading、flask、uwsgi

我有一个用uWSGI+Nginx包装的Python flask API，用于生产设置。我有4个Nginx工作进程，每个工作进程1个线程，配置如下，进程=4个线程=1。当我发出API Post时，post在我的代码的不同部分写入和读取一个json文件。当我并行发出多个API请求时，它会像预期的那样分发给这4个Nginx工作进程。然后它们继续并行处理请求。有时，这会导致json ValueErrors，因为多个进程正在对同一文件进行<e

浏览 2提问于2017-12-13得票数 2

1回答

通过适当的月开始和结束日并行

bash、shell、date、parallel-processing、gnu-parallel

我想使用GNU并行运行一系列命令，如下所示：python MyScript.py 20131201 20131231(etc) 因此，这个问题()显示了如何使用bash获取每个月的最后一天。不过，我不清楚如何将多个参数传递给并行，而我假设的是重复运行shell脚本来生成开始/结

浏览 0提问于2014-03-05得票数 2

回答已采纳

3回答

从PHP调用python脚本-并行请求问题

php、exec

我在由Nginx提供服务的php文件中通过exec阻塞函数调用Python脚本。它的工作方式与预期一致。Python脚本使用webdriver Chrome执行Selenium并返回xml输出。问题是当我在同一时间创建更多的请求(2个或更多)。第一个请求被处理(nginx，php，python)，第二个请求等待第一个请求完成。它们不是并行执行的。直接从shell执行的Pyt

浏览 0提问于2019-08-02得票数 0

1回答

用于并行规则的snakemake通配符

parallel-processing、wildcard、snakemake

我正在尝试向python脚本输入一个变量参数，该脚本接受相同的输入文件，但将创建不同的输出文件。我希望规则对我提供的任何参数都能并行执行。rule run_foo: "input_file" expand("output_{chrm}.txt") """

浏览 45提问于2021-08-05得票数 0

1回答

Python -使用os.subprocess使用嵌套命令调用shell脚本

python、shell、subprocess、openfoam

我正在运行Ubuntu16.04、Python3.6和OpenFOAM 5，我编写了几个位于OpenFOAM case目录中的shell脚本(包含几何STL文件、流体动态参数和网格的目录)。这些脚本执行重复的文件管理命令和OpenFOAM并行过程分解程序，以及生成三维网格并运行模拟的命令。python脚本应该位于一个完全不同的目录中，因为这些案例文件夹中的数百个(

浏览 0提问于2018-02-26得票数 0

回答已采纳

1回答

并行文件I/O Java

java

我有一个使用JNI调用Java的Fortran程序。我的Java函数接收数组，将数组写入文件，对Python函数进行系统调用，该函数计算某些内容，并将结果写入Java函数读取的文件，并将其传回Fortran。这如预期的那样起作用。不幸的是，我不能使用Jython，因为Jython还不支持NumPy。我的程序的串行实现如预期的那样工作，但是当我运行使用OpenMP的Fortran代码

浏览 2提问于2015-06-12得票数 0

回答已采纳

1回答

运行parallalel python脚本的最快方式

python、pandas、bash

同时运行多个python脚本的最快方法是什么？python pre_process.py --with_some_different_option &... n timesfrom multiprocessing import Pool poo

浏览 0提问于2020-04-02得票数 0

2回答

色端并排差在巨蟒中被打破

python、terminal、diff

我正在尝试构建一个python应用程序，以快速生成在python中并行的颜色差异。我的问题是，我可以从linux并行生成，但是不管我尝试过什么命令破坏，python下的diffs都会失败(请参阅下面的尝试)。当我运行与python脚本的差异时，这是典型<

浏览 3提问于2020-04-21得票数 1

回答已采纳

点击加载更多