使用PIL (python)将图像数据集加载到内存中会消耗太多内存

文章/答案/技术大牛

发布

1回答

python、python-imaging-library、google-colaboratory

我使用的是Google Colab (13 Gb内存)，我正在尝试将8000张JPG图像(512x512)加载到内存中，平均每个图像的大小为150Kb。我预计所有这一切将消耗不超过1.5 it的RAM，但实际上消耗了所有的内存，Google Colab崩溃。我遗漏了什么？

浏览 54提问于2019-07-04得票数 0

回答已采纳

1回答

Python :打开许多文件并将它们加载到内存中

python、numpy、python-imaging-library

我有一个包含3000张列车图像和6000张测试图像的数据集。它是320x320 rgb png文件。我想我可以将整个数据集加载到内存中(因为它只有100 do )，但是我尝试这样做："Errno 24打开的文件太多了：.“错误。img.getcolors()方法，所以我非常希望将该数据集存储在内存中，作为PIL图像列表

浏览 9提问于2022-08-19得票数 0

回答已采纳

1回答

GAE Python标准:超过硬内存限制，而RSS则小两倍

python、google-app-engine、google-app-engine-python

我有一个应用程序在应用程序引擎Python3标准环境(瓶)。应用程序处理图像。它使用临时(/tmp)空间下载并调整大小。对于图像处理，它使用枕头(PIL.Image)将所有内容加载到内存中。因此，这个应用程序内存消耗很大，因为图像可能很大(例如6000x6000)。我开始在F1/F2/B1/B2实例上出现“超出硬内存限制”错

浏览 9提问于2021-12-10得票数 1

2回答

尝试在字典中缓存uiImages，似乎不会影响加载时间

caching、ios、uitableview、uiimage

我使用一种标准的缓存方法来缓存从Documents目录中加载的一些UIImages。这些图像正在UITableView中显示。它们非常大--图像本身高达600x600，并显示在240×180的图像视图中(在视网膜显示器上，因此分辨率差异不大)。谢谢!我现在已经放弃了。有一些尝试通过在新的上

浏览 4提问于2011-01-29得票数 0

回答已采纳

2回答

我怎样才能写到一个png/tiff文件补丁一个补丁？

python、python-imaging-library、pillow

我想从一个非常大的h5py数据集中创建一个png或tiff图像文件，这些文件不能一次性加载到内存中。所以，我想知道python中是否有一种方法可以在补丁中写入png或tiff文件？(我可以将h5py数据集以片的形式加载到numpy.ndarray中)。我试过使用枕头库并做PIL.Image.paste，给出盒子的坐标，但是对于大的图像，它会从内存中消失。in sl

浏览 2提问于2018-06-16得票数 11

回答已采纳

1回答

cPickle非常大量的数据

python、neural-network、convolution、pickle

我在RGB中有大约80万张256x256的图像，超过7GB。这是不是个坏主意？这就是代码的样子。import numpy as npfrom <em

浏览 3提问于2015-04-21得票数 3

回答已采纳

3回答

允许的内存大小*字节耗尽，以php为单位

php、memory-management

我知道它可以用ini_set("memory_limit"，"64M")之类的命令来修复，但我不想这样做，因为对于一个脚本来说，这么多内存是不正常的。我有几个报告非常庞大，以至于我非常需要内存，但通常不需要。问题是:我甚至不知道哪个脚本消耗了那么多内存，而且还没有用户报告错误。

浏览 0提问于2009-05-05得票数 3

1回答

如何有效地查询大型LDIF文件？

python、sql、ldap、ldif

我的研究表明，使用OpenLDAP导入这个LDIF文件是非常重要的。有什么想法吗？

浏览 0提问于2018-06-09得票数 0

2回答

如何在Python中使用POST方法上传大型文件？

python、post、optimization、python-requests、stream

我将一个大文件(约2GB)上传到一个API中，该API使用Python的requests模块接受POST方法，这将导致首先将文件加载到内存中，并显著增加内存使用量。我相信还有其他一些方法可以在不增加内存负担的情况下将文件流到API中。有什么建议吗？这条老路对我来说很管用，但却消耗了太多的记忆。file = {'file': open(path, 'rb

浏览 9提问于2022-07-08得票数 0

回答已采纳

1回答

如何在python中有效地存储一个非常大的列表

python、numpy

问题：我有一个很大的3D图像集合，我想要存储在一个文件中。我该如何有效地做这件事？到目前为止，我尝试将每个MRI读入为3D numpy数组，并将其附加到列表中。当我试图使用numpy.save保存它时，它消耗了我所有的内存，并退出了“内存错误”。mri_array

浏览 0提问于2019-04-02得票数 1

回答已采纳

1回答

使用中间图像堆栈的Python内存管理

python、memory、python-3.x

我最近一直在玩延时摄影，在一组图像上使用中位图像叠加，或者提取视频帧。我创建了一个小脚本，它可以很好地处理一些相对较少的图像：import os#Create a list of thenp.uint8(np.median(imglist, axis=0))这里的明显问题是，如果一次

浏览 4提问于2014-10-20得票数 1

回答已采纳

1回答

在不消耗大量内存的情况下将CSV转换为XLS

python、excel、pandas、csv

我需要使用将CSV文件转换为XLSX文件，然后将该XLSX文件上传到S3存储桶中。目前，我正在使用pandas将CSV文件转换为XLSX。df.to_excel('query_set.xlsx') 这对于小型数据集很有效，但对于大型数据集则失败。我在一个内存为2 2GB的服务器上执行代码。那么，如何在不消耗太多内存的情况下将CSV转换为XLSX

浏览 9提问于2021-08-23得票数 0

1回答

从python获取图像文件的形状，而不加载图像

python、opencv、python-imaging-library

有没有一种有效的方法可以知道图像文件的大小(高度、重量、通道)，而不必将其实际加载到python中？最简单的方法是：print img.shape 但是这会浪费CPU (和内存)，因为我不需要映像本身。

浏览 0提问于2014-05-20得票数 6

回答已采纳

1回答

如何使用Python检查非常大的数据集中的重复图片？

python、algorithm、opencv

我有一个包含百万级图像的数据集，我想做的是像Counter(<list of images>)一样检查重复项并计算整个数据集的数量。然而，考虑到图像的大小，将所有图像加载到内存中似乎是不可行的。为sha1编辑image = Image.open("x.jpg") # PIL library然后得到一个

浏览 37提问于2018-08-10得票数 2

2回答

以内存高效的方式从python的流中创建Parquet文件

python、parquet、pyarrow、fastparquet

在Python中，最常见的创建parquet文件的方法似乎是首先创建Pandas数据文件，然后使用py箭头将表写入Parquet。我担心这可能会对内存的使用造成太大的负担，因为它至少需要一个完整的数据集副本才能存储在内存中，才能创建熊猫数据。我想知道是否需要将整个数据集加载到内存中，这是由于柱状压缩的需求，还是有一种更高效和基于流的方法。在我的例

浏览 39提问于2020-11-11得票数 7

1回答

多处理全局变量内存复制

python、memory、multiprocessing

我正在运行一个程序，它首先将20 GB数据加载到内存中。然后，我将执行N个(> 1000)独立任务，其中每个任务都可以使用(只读) 20 GB数据的一部分。我现在正试图通过多重处理来完成这些任务。在我的例子中，我没有足够的内存来执行4个以上的任务，因为我的内存只有96 GB。我想知道是否有任何解决这类问题的办法，以便我可以充分使用我的所有内核，而不消耗太多的内存。

浏览 4提问于2016-10-24得票数 13

回答已采纳

1回答

使用Keras fit_generator和datagen.flow时出现内存错误

python、image-processing、computer-vision、deep-learning、keras

我正在尝试将datagen.flow与Keras中的ImageGenerator类一起使用。我得到以下内存错误：batch_size=batch_size, save_to_dir='test_RA', save_format='png'), File "&

浏览 2提问于2017-04-13得票数 4

2回答

为什么np.genfromtxt()最初占用大量内存用于大型数据集？

python、numpy

我有一个包含450,000列和450行的数据集--所有的数值。我使用NumPy函数将数据集加载到一个np.genfromtxt()数组中：train_features = train[:, :-1]

浏览 0提问于2018-03-02得票数 0

回答已采纳

1回答

如何使用非常大的训练集来训练dlib形状预测器？

python、computer-vision、face-recognition、dlib

我正在尝试使用python dlib.train_shape_predictor函数来使用一组非常大的图像(~50,000)进行训练。我已经创建了一个包含必要数据的xml文件，但似乎train_shape_predictor在开始培训之前将所有引用的图像加载到内存中。这导致进程被终止，因为它使用超过100 of的RAM。即使削减数据集使用超过20 has (机器只

浏览 1提问于2019-01-12得票数 0

2回答

在Python中丢弃图像时内存泄漏

python、memory-leaks、python-3.x、tkinter、pillow

我目前正在用Python编写一个简单的棋盘游戏，我刚刚意识到，当重新加载图像时，垃圾收集不会从内存中清除丢弃的位图数据。只有当游戏启动或加载或者分辨率改变时才会发生这种情况，但它会使消耗的内存成倍增加，所以我不能让这个问题得不到解决。当重新加载图像时，所有引用都被转移到新的图像数据，因为它被绑定到与原始图像数据绑定到的相同变量。我试图通过使用collect()来强制垃圾收集，但是没

浏览 0提问于2013-06-27得票数 3

回答已采纳

点击加载更多