pyTorch中Dataset与TensorDataset的区别

文章/答案/技术大牛

发布

1回答

deep-learning、pytorch

"torch.utils.data.TensorDataset“和"torch.utils.data.Dataset”之间的区别是什么--文档对此并不清楚，我在谷歌上也找不到任何答案。

浏览 173提问于2021-05-25得票数 1

回答已采纳

1回答

基于PyTorch的TensorDataset变换

python、pytorch、data-augmentation

# convert numpy arrays to pytorch tensorsX_train = X_train.reshape((-1, 1, 28, 28)).float() train_dataset = torch.utils.data.TensorDataset

浏览 0提问于2019-04-09得票数 20

回答已采纳

1回答

尺寸和整数的TensorDataset错误，而不是callabe？

python、deep-learning、pytorch、tensor、dataloader

我有一些numpy数组，我想从TensorDataset中传递给PyTorch，这样就可以将它传递到DataLoader中，以便在神经网络中进行训练。这些是我的训练和测试的特点和目标的维度：(2338834, 21)(2338834, 3) # Passing numpy array to to DataLoader t

浏览 4提问于2021-12-09得票数 1

1回答

将tf.data.Dataset.from_tensor_slices转换为放电筒

tensorflow、deep-learning、pytorch、tf.keras

我正在尝试将从tensorflow转换为pytorch。不幸的是，我不太了解tensorflow。我在将ti data_loader从转移到一般情况下将此函数转换为py手电筒时遇到问题。_train_contexts, importance_weights[:, i], old_means, old_chol_precisions) dataset = t

浏览 1提问于2022-07-29得票数 2

回答已采纳

2回答

用火把装载自己的列车数据和标签？

python、dataset、preprocessing、pytorch

如何使用torch.utils.data.DataLoader将它们组合并加载到模型中？我创建了一个数据集，培训数据有20k个样本，标签也是分开的。假设我想在模型中加载数据集，每次洗牌并使用我喜欢的批处理大小。Dataloader函数就是这样做的。我怎样才能把它们组合在一起，把它们放在函数中，这样我就可以把它们训练在移相器的模型中？

浏览 0提问于2019-02-20得票数 22

1回答

随机拆分类型为PyTorch的TensorDataset数据集

python、machine-learning、pytorch

我有一个自定义数据集加载到numpy中的python：(20640x8)输入矩阵，(20640x1)标签向量。 TypeError: randperm()收到了无效的参数组合。 import numpy as npf

浏览 6提问于2022-08-25得票数 0

1回答

next()和iter()在PyTorch的DataLoader()中做了什么

python、iterator、pytorch、next、dataloader

我有以下代码： import torchimport pandas as pddf = pd.read_csv(r'..iris = TensorDataset(torch.FloatTensor(data),torch.LongTensor(labels)) iris_loader= DataLoa

浏览 989提问于2020-06-24得票数 8

回答已采纳

1回答

为什么Pytorch在读取数据方面比Tensorflow慢

python、tensorflow、deep-learning、pytorch

我尝试了两种版本代码来迭代MNIST数据，以比较经过的时间。, ys.shape, xs.min(), xs.max())db = tf.data.Dataset.from_tensor_slices) in enumerate(db):toc = time.time()其结果是TF经过2s和Pytorch

浏览 2提问于2020-08-01得票数 1

1回答

在pytorch中创建自定义数据加载器时更改图像尺寸

python、machine-learning、deep-learning、conv-neural-network、pytorch

我在用CIFAR10数据集训练我的CNN。我提取了50,000张维度(32 X 32 X 3)的图像，并在列表中读取它们。我将它们转换为numpy数组，并将其存储在列表中。我对我的训练和测试的标签也做了同样的处理。然后，我在pytorch中构建了两层和一个FC的CNN。在此之前，我创建了自己的自定义数据加载器。在这样做的同时，我输入的图像的尺寸

浏览 4提问于2018-08-09得票数 2

2回答

我需要在使用pytorch的定制数据集上进行一些实验。问题是，如何使用torch.Dataloader创建数据集？我有两个列表，一个叫做值，每个条目都有一个数据点张量，另一个叫做标签，它有相应的标签。我所做的是：dataset[i] = [values[i],labels[I]] 因此，我有一个带有datapoint和相应标签的列表，然后尝试如下：dataset = torch.tensor(dataset</

浏览 3提问于2019-10-27得票数 0

回答已采纳

1回答

从Numpy数组中获取变量

python-3.x、numpy、indexing、pytorch、torch

对于Pytorch的图像分类问题，我读入的数据如下： import scipy .io emnist = scipy.io.loadmat(DATA_DIR + '/emnist-letters.mat，使用： train_dataset = torch.utils.data.TensorDataset(torch.from_numpy(X_train), torch.from_numpy(y_train)) 目前，当我运行一个y_train实例时，输出是一个数组： y_train[0

浏览 10提问于2020-07-01得票数 0

回答已采纳

2回答

PyTorch - AssertionError:张量之间的大小不匹配

python、numpy、pytorch

我正在尝试改编一个为线性回归创建的Pytorch脚本。它最初编写的目的是接受一组随机值(使用np.random创建)作为特征和目标。现在，我已经创建了用于分析的实际数据的数据框架： df = pd.read_csv('file_name.csv') df如下所示： X1 X2 X3 X4 X5= TensorDataset(x_tensor_flat，y_tensor_flat) 我得到了错误： line 45, in <

浏览 980提问于2021-04-16得票数 1

回答已采纳

5回答

PyTorch:如何将DataLoaders用于自定义数据集

python、torch、pytorch

如何利用torch.utils.data.Dataset和torch.utils.data.DataLoader对您自己的数据(而不仅仅是torchvision.datasets)？是否有一种方法可以使用内置的DataLoaders (他们在TorchVisionDatasets上使用的)在任何数据集中使用？

浏览 4提问于2017-01-29得票数 65

回答已采纳

1回答

如何将“collate_fn”与数据表结合使用？

python、pytorch、huggingface-transformers、dataloader

我试图训练一个预先训练的罗伯塔模型，使用3个输入，3个input_masks和一个标签作为我的训练数据集的张量。我使用以下代码执行此操作：val_dataloader = DataLoader(validation_data, batch_size=batch_size)

浏览 1提问于2020-12-13得票数 22

回答已采纳

6回答

如何将Pandas数据转换为PyTorch张量？

python、pandas、dataframe、pytorch

如何利用PyTorch在熊猫df上训练一个简单的神经网络import torch.utils.data as data_utils train = data_utils.TensorDataset

浏览 1提问于2018-05-12得票数 83

回答已采纳

1回答

如何在PyTorch* Lightning中从prepare_data()获取数据集到setup()*

pytorch、pytorch-lightning、pytorch-dataloader

我在使用PyTorch Lightning的DataModules方法的prepare_data()方法中使用NumPy创建了自己的数据集。import numpy as np from torch.utils.data import random_split, DataLoader, TensorDatasetfrom torch.autograd import Variable from t

浏览 138提问于2021-05-08得票数 0

回答已采纳

1回答

集合面错误: AttributeError：'ByteLevelBPETokenizer‘对象没有属性'pad_token_id’

python、pytorch、tokenize、huggingface-transformers、huggingface-tokenizers

Collator tokenizer=tokenizer, mlm=Falsetrain_dataloader = DataLoader( collate_fn=data_collator此错误是由于没有为令牌程序配置pad_t

浏览 0提问于2021-03-26得票数 3

回答已采纳

1回答

为什么PyTorch创建另一个数据复制TorchData

pytorch、dataset、dataloader、pytorch-dataloader、data-pipeline

为什么PyTorch为类似的/新的Dataset和DataLoader创建另一个名为TorchData的repro，而不是将它们添加到现有的PyTorch repro中？Dataset和Datapipe有什么区别？谢谢。

浏览 11提问于2022-05-10得票数 0

3回答

如何将numpy数组列表加载到pytorch数据集加载器？

python、numpy、pytorch

我有一个巨大的numpy数组列表，其中每个数组表示一个图像，我想使用torch.utils.data.Dataloader对象加载它。但是torch.utils.data.Dataloader的文档提到它直接从文件夹加载数据。我该如何为我的事业修改它？我是pytorch的新手，任何帮助都将不胜感激。我的用于单个图像的numpy数组如下所示。该图像为RBG图像。

浏览 0提问于2017-06-08得票数 61

回答已采纳

3回答

如何在Pytorch* Lightning中使用numpy数据集*

numpy、machine-learning、pytorch-lightning

我想用NumPy创建一个数据集，然后想要训练和测试一个简单的模型，比如“线性的，或者逻辑的”。我正在努力学习Pytorch Lightning。我的代码如下所示 import numpy as np from torch.utils.data import random_split, DataLoader, TensorDatasetfrom torch.autograd i

浏览 44提问于2021-05-07得票数 0

回答已采纳

点击加载更多