Python多处理，打开的文件太多

文章/答案/技术大牛

发布

1回答

python、pandas、multiprocessing

我目前正在尝试构建一个基于单个数据帧保存10,000 - 50,000张图像的scipt 为了加速这个过程，我正在尝试使用下面的脚本让多进程工作。在收到有关打开的文件太多的错误之前，我得到了大约4,000张图像 # import multiprocessing p.start() for p i

浏览 35提问于2020-05-03得票数 0

1回答

处理和处理数据的最快方法

python、database、python-3.x、software-design

我有一个非常大而重要的项目，但我在选择处理数据的方法时遇到了问题。数据库:如果我使用数据库，我可以对它们进行排序和过滤。你认为用这种方式过滤数据会更快吗?还是我应该用python编写呢？文件:我目前正在使用文本文件来处理数据，并从它们中提取数据，但是我有太多的线程和多处理函数，应该打开同一个文件。因此，有时会出现一个错误，并说“错误:许可被拒绝”，这是合理的

浏览 0提问于2018-09-03得票数 0

1回答

Python多处理池OSError:打开的文件太多

python、multiprocessing、pool

我必须检查一对包含30k个元素的列表总共需要do_something()多少时间。下面是我的代码 def run(a, b, data): val = do_something(a, b, data[0], data

浏览 15提问于2020-12-15得票数 3

1回答

Python多处理和太多打开的文件

python、python-3.x、python-multiprocessing、python-multithreading

我对python中的多处理有问题。在下面的代码中，我调用了7个工人(multiprocessing.Process)和一个结果threading.Thread。在处理数据之前和之后(从文件中提取一些元数据)，我运行：我得到一些打开的手柄，如： python3 17291ivo DEL

浏览 3提问于2017-10-02得票数 1

回答已采纳

3回答

zeromq和python多处理，打开的文件太多了

zeromq、python-multiprocessing

我有一个基于代理的模型，其中几个代理由一个中心进程启动，并通过另一个中心进程进行通信。每个代理和通信进程通过zmq进行通信。但是，当我启动100多个代理时，standard_out发送： Python在使用libzmq.5.dylib插件时意外退出。这个问题在我看来似乎太多</em

浏览 2提问于2015-07-04得票数 10

回答已采纳

2回答

Python QT QNetworkRequest退出并显示"(process:3265)：GLib-ERROR **：Creating pipes for GWakeup: Too open files

python、qt、http、networking、pyqt4

我有一个python qt程序，可以从服务器上下载很多网址。大多数urls都是小图像(图标)，并且是唯一的。QT文档指出，QNetworkAccessManager - "6个请求针对一个主机/端口组合并行执行“。那么多，数百个http连接是如何保持开放的呢？几分钟后，连接就会关闭，但是如果

浏览 6提问于2013-06-11得票数 1

回答已采纳

4回答

将多个文件压缩为python中的bz2文件

python、bz2

我需要在python中将多个文件压缩为一个bz2文件。我想找个办法，但我找不到答案。有可能吗？

浏览 0提问于2018-10-04得票数 1

回答已采纳

3回答

如何在OS上维护Python包？

python、installation、package、osx-mountain-lion

值得注意的是，在使用pip时，我经常会遇到以下错误 python setup.py install 错误: &#x

浏览 6提问于2012-12-26得票数 6

1回答

太多打开的文件python

python、django、python-imaging-library

我在试着调整图像的大小。它工作得很好，但是我的，也就是to_field，正在打开，但没有关闭。所以我有一个错误too many open files。我尝试了一些解决办法，但没能解决这个问题。

浏览 1提问于2013-05-27得票数 0

3回答

python中打开的文件太多

python、file-descriptor

我写了一个测试套件，它是文件密集型的。过了一段时间(2h)，我得到了一个IOError: [Errno 24] Too many open files: '/tmp/tmpxsqYPm'。我仔细检查了所有的文件句柄是否再次关闭它们。但是这个错误仍然存在。我尝试使用resource.RLIMIT_NOFILE计算出允许的文件描述符的数量和当前打开的文件描述符的数量： def ge

浏览 0提问于2010-12-08得票数 24

回答已采纳

3回答

Python Tornado打开的文件太多

python、nginx、tornado

我的文件打开文件限制设置为1000000，但我仍然收到以下错误：导致此错误的原因可能是什么？

浏览 1提问于2017-05-10得票数 0

3回答

有没有办法检查我的代码的哪一部分没有打开文件句柄？

python、python-3.x、file-handling

有没有一种方法可以跟踪python进程来检查文件被打开的位置。当我在我运行的进程上使用lsof时，我打开了太多的文件，但我不确定它们是在哪里打开的。ls /proc/$pid/fd/ | wc -l 我怀疑我正在使用的某个库可能没有正确处理这些文件。有没有一种方法可以准确地隔离文件在我<e

浏览 58提问于2021-01-21得票数 4

1回答

将S3存储桶的整个实例克隆到另一个存储桶

python、amazon-web-services、amazon-s3、boto3

因此，我需要通过AWS SDK for Python (boto3)克隆整个实例。但是我的实例有超过500万个对象，所以递归地调用objects_response = client.list_objects_v2(Bucket=bucket_name)，然后在每个文件上执行一次复制会花费太多的时间，而且不安全，因为处理失败并重新开始处理这么多的文件。那么如何以一种更快、更安全的方式来实现呢？

浏览 1提问于2021-03-20得票数 0

1回答

打开多处理错误的文件太多

python、multiprocessing

我有一个代码，在Ubuntu上的12核vcpu上使用超过10000个文件的多处理。_Popen(self) return _", line 108, in run File "wikirules.py", line 13, in process_

浏览 8提问于2021-03-12得票数 0

回答已采纳

1回答

Python3无法打开文件‘practive1.py’：[Errno 2]没有这样的文件或目录

visual-studio-code、python-3.8

我是一个新的python用户。我使用的是Python3.8.3、MacOS sera10.12和VSCode 1.55.0。当我输入python3 filename.py时，这个错误就出现了。但当我简单地点击run play按钮时，我的程序运行得很好。但是，我可以通过输入python3和文件名来正常运行的python程序很少。另一件事是，我甚至无法通过键入cd /Users/Aryanadi&#

浏览 1提问于2021-04-04得票数 0

1回答

如何从文件中删除记录

\n"); fclose(fp);} prev= curr; }}} 我已经做了这段代码，但是我不能删除和排序record.txt文件中的记

浏览 0提问于2016-05-25得票数 0

3回答

为什么Spark作业会因为“打开的文件太多”而失败？

apache-spark

在我的Spark工作的混洗阶段，我得到了“太多打开的文件”。为什么我的工作要打开这么多文件？我可以采取哪些步骤来尝试使我的工作成功。

浏览 1提问于2014-09-07得票数 30

回答已采纳

1回答

ajax多文件上传

php、jquery

我正在尝试建立一个ajax多文件上传，因为我发现每个插件太复杂的配置，我从一个多文件上传在php开始，但我看到，如果我有太多的文件上传一次，当我提交表单时，它将需要太多的时间来结束，这个延迟是如何处理的这是通过jquery iframe传输来处理的吗？

浏览 1提问于2011-10-20得票数 0

1回答

打开3.7拼图文件会立即被杀死

python、python-3.7、pyarrow

我使用的是Python 3.7.3，我使用的是pyarrow 2.0.0，并试图打开一个3.7 to的拼图文件。python脚本立即以"Killed“结束，这是我看到的唯一结果。因为我没有太多的东西可以继续，我不确定为什么它会被“杀死”。尝试打开它的计算机有16 be的RAM，所以看起来应该有足够的RAM来处理它？有没

浏览 14提问于2021-03-12得票数 1

回答已采纳

1回答

Python IO错误:打开的文件太多

java、python、eclipse、ubuntu、ioerror

我在eclipse中得到了一个python错误，如下所示： "IOError: File not found - ./FASTLEXICON.7 (Too many open files)".这里有一些背景知识:在我的java程序中，我使用了一个.Jar库，它使用python来做一些事情。我无法对jar文件进行更改。但是当我从eclipse运行我的程序时，我得到了如上的python错误。我在Ubuntu上使用Eclipse Galileo，

浏览 2提问于2013-05-09得票数 3

回答已采纳

点击加载更多