如何将数据集从pickle文件加载到PyTorch中？

文章/答案/技术大牛

发布

1回答

deep-learning、pytorch、pickle、torch、torchvision

我在整数矩阵形式的单独的pickle文件中有X_train(输入)和Y_train(标签)。现在，我需要加载它们并使用PyTorch进行训练。

浏览 33提问于2020-06-08得票数 0

1回答

在Pytorch中为所有类都在同一文件夹中的数据集加载数据

python、pytorch

我是深度学习和Pytorch的新手。我有6000张图片的数据集，其中所有四个类别都在一个文件夹中。我使用以下代码片段来上传我的数据。我在ImageFolder上读到，图像应该根据类标签组织到子文件夹中但是，我的数据</

浏览 0提问于2021-05-26得票数 1

1回答

查看.pkl文件的数据结构

python

我试图通过以下代码查看ExtremeNet_250000.pkl的数据结构(大小约780米)：pth=open(r'E:/ExtremeNet_250000.pkl','rb')print(pkl)RESTART: C:/Users/cwc888888/AppData/Local/Programs/Python

浏览 0提问于2019-06-12得票数 0

3回答

.pt、.pth和.pwf在PyTorch中的扩展有什么不同？

python、serialization、deep-learning、pytorch、checkpointing

我在一些代码示例中看到，人们使用.pwf作为模型文件保存格式。但在PyTorch文档中，建议使用.pt和.pth。我使用了.pwf，对于1->16->16的小型卷积网络工作得很好。为什么PyTorch文档中甚至不推荐使用.pwf扩展?为什么人们仍然在使用它？

浏览 6提问于2019-11-29得票数 22

回答已采纳

1回答

当我尝试将我的numpy数组保存到.npy文件时，我得到了一个内存错误。如何从内存有限的图像文件创建大型.npy文件？

python、python-3.x、numpy、memory、keras

我对处理大型数据集是个新手。我想用我的训练数据生成一个.npy文件。我有大约1.7 MB的PNG图像要加载，但是由于内存错误，我已经将这个设置分成了块，现在我正在尝试将大约389.5 MB的PNG文件加载到numpy数组中，然后保存它。我可以将文件加载到数组中，但是当我试图保存它时，我得到了一个内存错误。我尝试过.pickle和.npy两种文件类型。我搞不懂为什么这是一个问题，因为

浏览 29提问于2019-06-05得票数 2

回答已采纳

1回答

将google云存储文件夹挂载到google ai platform作业

google-cloud-platform、google-cloud-storage

我正在尝试用google ai平台建立一个基本的pytorch管道。在Google AI平台教程中，我找到的唯一相关概念是通过python将数据集手动下

浏览 12提问于2019-08-13得票数 1

1回答

在用于PyTorch的Dataloader中使用具有已酸洗数据的生成器

python、dataset、generator、pickle、pytorch

我以前做过一些预处理和特征选择，我有一个由列表列表组成的泡菜训练输入数据，例如(但泡菜) [[1,5,45,13], [23,256,4,2], [1,12,88,78], [-1]] [[12,45,77,325因为该文件有大量的by，所以我希望节省内存，并使用生成器逐行读取该文件(逐个列表)。我已经找到了可能会有帮助的this answer。，我希望在PyTorch (1.0.1) Dataloader中使用这些数据。从我在其他答案中发现的情况来看，我必须为它提供一个Dataset，

浏览 11提问于2019-02-11得票数 2

回答已采纳

2回答

HTTPError: HTTP错误403:在Google Colab上禁用

python、jupyter-notebook、pytorch、google-colaboratory

我正在尝试使用以下代码在PyTorch中下载MNIST数据： datasets.MNIST('data

浏览 26提问于2020-03-05得票数 6

回答已采纳

3回答

ModuleNotFoundError:没有名为“pandas.core.indexes”的模块

python-3.x、pandas、pip、pickle

我编写了这段代码来将数据集加载到数据框架中。Dataset是在一个泡菜文件中提供的，但是它会引发一个错误：import pickleCollecting

浏览 2提问于2018-07-11得票数 9

回答已采纳

1回答

有没有办法过早停止腌制过程？

python、pickle

我有一个程序，我使用pickle保存和加载相当大和复杂的数据集，可能需要30多个。该进程在二级线程中处理，并附带一个对话框，该对话框显示进度，并有一个按钮来取消该进程。现在真的有办法阻止倾销或储蓄吗？所以基本上，如果你有with open('./file', 'wb') as file: pickle.dump(data, file, pickle.HIGHEST

浏览 1提问于2020-12-12得票数 0

回答已采纳

1回答

如何保存你已经在Google Colab笔记本中加载和处理的数据，这样你就不必每次都重新加载它了？

python、pandas、jupyter-notebook、google-colaboratory

我从pickle库中读到过“pickle”-ing，但是这是否只保存你训练过的模型，而不是你从大量csv文件加载到变量中的实际数据帧？

浏览 16提问于2018-08-21得票数 1

3回答

TypeError：“str”不支持缓冲区接口

python

我从我的原始代码发布，crystalincrement = pickle.load(crystal)crystalface = pickle.load(crystal)错误是， crystalincrement = pickle.load(crystal

浏览 0提问于2011-08-12得票数 5

回答已采纳

2回答

如何保存保存数据，并在重新运行程序后重新使用？

python、save、dataset、storage

我使用以下代码获取股票价格数据： with requests.Session() as s:然后我必须重新运行程序，我丢失了所有的数据，程序从头开始启动。我正在寻找一种方法来保存数据，并在重新运行程序后重新使用它。这怎么可能呢？try: with open('3_tir.pickle

浏览 1提问于2019-06-24得票数 0

2回答

如何在python中添加新数据集到已有的pickle文件中

python、pickle、naivebayes、jsonpickle

我有这个从json文件生成的pickle文件pickle

浏览 16提问于2018-02-23得票数 0

2回答

打开文件时出现的值错误

python、file、pickle

我得到了一个文件，其中包含两个被腌制的对象--它是作为.pk文件发送给我的。有人告诉我，它有两个对象，但是，我试图拆解这些文件的尝试没有成功。第一个被腌制的对象包含一对数字与它们的罗马数字组成的字典，第二个包含字典中的罗马数字对及其数字。我怎样才能把这两本字典分开整理呢？这是我下面的内容，以及我收到的错误消息：x,y=pickle.load(open("C://Users//Documents/&#

浏览 1提问于2015-04-10得票数 0

回答已采纳

1回答

作为PyTorch数据集，您使用什么来访问S3和其他对象存储提供程序上的CSV数据？

amazon-s3、pytorch、google-cloud-storage、azure-blob-storage、object-storage

我的数据集作为CSV文件的集合存储在Amazon Web Services (亚马逊网络服务)简单存储服务(S3)存储桶中。我在https://pytorch.org/docs/stable/data.html#查看了关于可用的数据集类的PyTorch文档，当涉及到公共云对象存储支持时，它是不够的。看起来我必须根据以下说明创建自己的自定义数据集：https:/

浏览 28提问于2020-10-29得票数 1

1回答

Azure web服务部署是如何在本地工作的？

python-3.x、azure、pickle、azure-machine-learning-studio

Azure ML提供了用于数据集管理和模型部署的客户端库(例如，用于Python的azureml )。据我所知，自定义算法将被序列化为Pickle文件，但我不确定之后会发生什么。我在azureml文档中发现了这一点，这很有帮助：如果函数没有与其关联的源文件(例如，在REPL环境中开发)，则函数字节代码将被序列化。如果函数引用了任何全局变量，那么这些变量也将使用Pickle序列化。在这种模式下，您所引用的所有状态都需要已经定义(例如，您发布的函数应该在您调用的任何其他

浏览 0提问于2018-07-05得票数 1

回答已采纳

4回答

无法加载CIFAR-10数据集:加载密钥'\x1f‘无效

python、python-3.x、dataset

我目前正在使用TensorFlow中的一些神经网络--我决定尝试使用CIFAR-10数据集。我从网站下载了"CIFAR-10 python“数据集。在Python中，我还尝试直接复制用于加载数据的代码：import pickle dict =pickle.load(fo, enco

浏览 1提问于2017-07-16得票数 2

1回答

AttributeError：“ConvertModel”对象没有属性“查找”

python、pytorch、attributeerror、seek、onnx

我尝试使用ONNX将MATLAB模型转换为PyTorch，就像Andrew在这里提出的那样： import onnx但我发现了一个错误：

浏览 1提问于2021-02-21得票数 0

回答已采纳

2回答

从python字典访问数据

python、python-3.x、machine-learning、computer-vision、classification

import numpy as np import pickle dict = pickle.load"/Users/sachalabdullah/Desktop/cifar-10-batches-py/test_batch”) 我加载了CIFAR_10，因为我刚接触python，我不知道如何访问字典中的数据还有一件事让我感到困

浏览 3提问于2018-04-11得票数 1

点击加载更多