将图像文件夹转换为numpy数组将占用整个RAM

文章/答案/技术大牛

发布

1回答

python、numpy、dataset

我正在尝试将celebA dataset()图像文件夹转换为numpy数组，以便稍后转换为.pkl文件(用于简单地使用mnist或cifar数据)。我愿意找到一种更好的转换方法，因为这种方法绝对会消耗整个RAM。from PIL import Imagefrom glob import glob TARGET_IMAGES = "img_

浏览 16提问于2019-08-08得票数 0

回答已采纳

1回答

在神经网络实现中耗尽内存(使用Numpy Array)。什么能优化数据负载？

python、numpy、tensorflow、keras、deep-learning

我的数据集的格式如下：一个大小为numpy的数组(7855,448,448，3)，其中(448,448，3)是RGB图像的numpy版本。因此，我已经将整个图像数据集转换为一个numpy数组。训练目标是一个尺寸为7855的一维numpy阵列.这些条目对应于培训数据的条目。要获得numpy数组，我必须将整个数据集加载到一个变

浏览 0提问于2019-03-19得票数 0

回答已采纳

1回答

如何在方便地访问字节字符串的任何小部分的同时存储大量字节字符串

python、numpy、large-files

为了尽可能节省空间，我用将每个图像帧编码成一个字节字符串。这样，每个视频都是一个字节字符串列表。然后，我使用泡菜将这个字节字符串列表转储到磁盘。当我想访问某个视频时，首先用pickle.load加载pickle.load文件，然后将字节字符串解码为numpy.ndarray。当我想要访问整个视频时，这个策略是有效的。是否有任何解决方案可以将字节字符串列表存储在磁盘中，并且只加载我们想要的部分到RAM？一种可能的方法是使用，但它不支持

浏览 17提问于2022-11-30得票数 0

2回答

如何使用OpenCV在Python中管理大图像？

python、image、opencv、numpy

我正在尝试处理一个巨大的numpy数组，然后使用cv2.imwrite(numpy.array)将其写入JPEG图像。不幸的是，我正在使用的东西不适合我的RAM，即使最终的JPG图像应该只有大约200MB。如何才能在不使RAM过载的情况下管理这些负载？有没有其他方法可以在不将整个数组一次存储到RAM中的情况下写入图像？对我来说，一次加载数组的一小部分是可能的，但我不知道使用哪个模

浏览 2提问于2014-05-04得票数 4

1回答

从多个内存映射数组创建大型ndarray

numpy

我有多个大图像存储在光盘的二进制(fits)文件中。每个数组都具有相同的形状和数据类型。我需要读入这些图像中的N个，但希望保留内存映射，因为它们会占用RAM。然而，理想情况下，我希望将其视为一个numpy数组(形状为n，ny，nx)，例如，为了便于转置等。有没有可能，不将这些内容读入RAM？注意:在实践中，我需要的是更复杂的，相当于读取列表列表(例如，M个元素列表，每个元素本身是N个元素列表，每个元素是一个ndarray图

浏览 18提问于2021-01-22得票数 0

1回答

将列表转换为numpy数组，无需占用大量RAM

python、numpy

我想把一个形状为(1200,140,150,130)的列表转换成一个numpy数组，但是标准的numpydata = np.array(mylist)使用了很多内存。有没有更少消耗内存的方法呢？

浏览 17提问于2020-02-11得票数 3

2回答

有没有可能在不强制转换的情况下初始化float32或float16的随机数组？

python、numpy

我看到有np.random.uniform，但是从文档https://numpy.org/doc/stable/reference/random/generated/numpy.random.uniform.html我不能简单地将值转换为float32或float16，因为我需要在float64中初始化数组，并且对于我正在处理的嵌入数量，这将占用我环境中的所有ram。

浏览 19提问于2020-08-15得票数 2

1回答

numpy数组的内存映射文件

numpy、memory、large-files、large-data

我需要读取存储在内存映射文件中的巨大numpy数组的一部分，处理数据并对数组的另一部分重复。整个numpy数组大约占用50 GB，而我的机器有8 GB的RAM。我最初使用numpy.memmap创建内存映射文件，方法是读取大量较小的文件并处理它们的数据，然后将处理后的数据写入内存映射文件。ram。应该允许我访问大型数组的一部分，而不是试图将整个<

浏览 3提问于2014-10-05得票数 6

2回答

利用PIL将一维Numpy阵列转换成一维图像

python、arrays、image、numpy

当将一维numpy数组转换为PIL图像对象时，PIL返回IndexError: tuple index out of range。我试图用PIL将一个长度为2048的一维Numpy阵列的值从0到255转换成图像。我认为这是一个问题，我的阵列是一维。我还尝试将一个随机的一维数组整数转换为图像，并得到相同的错误。随机整数示例： from PIL import Imag

浏览 12提问于2019-10-25得票数 3

回答已采纳

2回答

我可以在不使用RAM的情况下通过HTML表单将大图像上传到我的服务器吗？

django、memory、upload、image-uploading

我正在建设一个网站，需要用户上传的图像，将每个约70MB到我的服务器。目前我运行的是512MB内存的Linode。由于此服务器上有其他站点，因此没有太多额外的内存可用，所以是否可以通过将图像直接转储到文件系统来将这些图像上传到服务器而不占用任何RAM，或者是否必须先将通过POST上传的任何文件加载到内存中，然后才能将其转储到文件系统此问题的本质是否需要具有大量RAM的服务器？是否有办法以某种方式<

浏览 4提问于2012-05-09得票数 2

回答已采纳

1回答

创建真正的大型Python列表

python、arrays、list、numpy、crash

我正在尝试创建与cPickle兼容的图像数据库。最初列表是空的。将目录中每个图像的数据作为新行添加到列表中。图像大小为224x224。图像的大小平均为8KB。labels.append(row[1]) print("image not found") 我试着将图像的大小减小到但我不想缩小图像的大小。我使用的是python 64位

浏览 1提问于2015-06-04得票数 1

1回答

如何在处理谷歌协作平台上的自动编码器时使用大型训练集？

numpy、keras、deep-learning、google-colaboratory、training-data

然而，我有25000个输入图像和25000个输出图像。我试着这样做: 1-每次将大文件从google驱动器复制到colab (需要5-6个小时)。2-将集合转换为numpy数组，但当对图像进行归一化时，大小变得更大(例如从7 7GB到24 7GB)，然后我无法将其放入ram内存中。3-我无法压缩和解压我的数据。所以，如果有人知道如何在没有大文件(24 if )的情况下将其转换为numpy数组

浏览 0提问于2020-12-11得票数 0

2回答

在不使用数值数组的情况下转置h5py数据集

python、arrays、h5py

我需要转置h5py数据集，以访问3D数组作为2D图像堆栈。我希望能够在3个可能的方向中的任何一个方向切片3D体积，同时保持第一个维度作为图像索引。我不想将我的数据集转换为numpy数组，以避免在只需要显示部分图像时从磁盘读取整个数据集。

浏览 1提问于2016-12-16得票数 3

1回答

改变python中巨大的HDF5数组的数据类型

python、large-files、hdf

所以我唯一的想法就是将所有文件转换为numpy数组。合并数组。float32.Create 从float64转换为新的dataset.这种方法的明显问题是，我只有32 in的RAM，无法将这些数组安装在内存中。我如何绕过这些限制呢？

浏览 4提问于2019-11-25得票数 0

2回答

如何在木星笔记本中将MXNet NDArray显示为图像？

mxnet

我有一个包含图像数据的MXNet NDArray。如何在木星笔记本中将NDArray呈现为图像？

浏览 4提问于2017-12-17得票数 1

回答已采纳

2回答

如何存储一组数组，以便于深入学习，而不消耗太多内存(Python)？

python、arrays、pandas、tensorflow、keras

我正在进行一项研究，其中我的数据集的观测用不同形状的矩阵(由数字组成的数组，类似于深度学习的图像，但不是图像)来表示。我已经尝试的是将这些数组作为列表写入熊猫数据的一个列中，然后将其保存为csv\excel。之后，我计划只加载这样一个文件，并将这些列表转换为适当形状的数组，然后将一组这样的数组转换为一个张量，我最终将使用这个张量来训练深度模型。但是这种方法似乎效率极低，因为我的数据集中只有1/6已经

浏览 5提问于2022-03-20得票数 1

1回答

tensorflow管道的大图像切片

tensorflow、image-segmentation、tensorflow-datasets

我正在用大型卫星.JP2图像进行图像分割。我想简单地调整用于训练的乐队数量(RGB用于第一次训练，然后我将尝试添加更多的乐队，看看它是否增加了性能)。我想象了两条不同的管道：或者，我将我的大图像预处理到13个différent

浏览 1提问于2019-04-13得票数 2

回答已采纳

1回答

uint8型神经网络

neural-network、keras、numpy

我有一个输入数组，由编码为numpy.uint8类型的灰度图像组成(因此可以覆盖整个范围0-255 )。当将数据输入网络时，我应该将值规范化为0-1范围，使它们现在变成浮点数(numpy.float64或32)。然而，这种转换使我的数据增加了8x(或4x)，这是我的RAM内存无法处理的。

浏览 0提问于2019-10-01得票数 3

1回答

执行操作时Numpy内存的使用情况

python、numpy、memory

当对数组执行操作时，我有一个关于Numpy内存使用情况的问题。我观察到，内存使用量增加了一倍，尽管这似乎是不必要的。例如，对于以下两个脚本，第二个脚本使用的内存几乎是第一个脚本的两倍：# ex1.pyx = np.zeros((10000, 10000), dtype=np.float32)第二稿import numpy as np x = np.zeros((10000, 10000), dtype=np.float32)有

浏览 3提问于2022-07-27得票数 0

回答已采纳

2回答

PIL图像到numpy数组的Python转换非常慢

python、numpy、opencv、tensorflow、computer-vision

我需要将传入的PIL图像重塑为整形的numpy数组，这样我就可以对其进行推断。但我发现，在我的笔记本电脑上，将PIL映像转换为numpy数组需要花费大约900+毫秒的时间，我的笔记本上有16 GiB内存和2.6 GHz英特尔核心i7处理器。def load_image_into_numpy_array(pil_image): data = pil_image.

浏览 0提问于2018-09-22得票数 6

回答已采纳

点击加载更多