Pytorch Dataloader混洗多个数据集

文章/答案/技术大牛

发布

1回答

python、pytorch、dataloader

我正在尝试制作具有多个数据集的自定义Dataloader。我的问题是，如果我在Dataloader选项中使用(shuffle = True)，是否可以在多个Dataloader中打乱相同的顺序例如： dataloader1：label = [5 , 4, 15, 16] dataloader2：label = [5 , 4, 15, 16]

浏览 43提问于2020-04-04得票数 0

回答已采纳

1回答

为什么直接使用图片数据集和pytorch自己的数据集精度差异这么大？

deep-learning、dataset、pytorch、torchvision

例如，对于cifar10数据集，直接使用pytorch自带的数据集，在相同的网络结构下，准确率可以达到96%，但我将cifar10转换成图片后，我对其进行了测试，准确率仅为92%。为什么？transform=test_transform ) train_loader = torch.utils.data.DataLoadernum_workers=args.prefetch, pin_memory=True)

浏览 26提问于2020-08-11得票数 1

1回答

是否可以使用PyTorch数据加载器加载保存在CSV文件中的原始数据图像？

python-3.x、pytorch、conv-neural-network、pytorch-dataloader、efficientnet

我将原始数据图像保存在单独的CSV文件中(每个图像在一个文件中)。我想用PyTorch训练一个美国有线电视新闻网。我应该如何加载数据以适合用作CNN的输入？

浏览 24提问于2021-08-07得票数 0

回答已采纳

4回答

如何对连接的Tensorflow数据集进行混洗

tensorflow、dataset

我有多个具有相同结构的tensorflow数据集。我想把它们组合成一个数据集。使用有什么方法可以解决这个问题吗？

浏览 1提问于2018-08-09得票数 5

1回答

如何在将TFrecords文件馈送到模型之前对其进行混洗

python、tensorflow、shuffle、tfrecord

我有一个相对较大的数据集，它是非常异构的。在模型的训练过程中，我已经使用了shuffle my dataset，如文档示例: (但无法将其全部混洗，因为它会占用太多内存)，我还将我的数据集分成多个小碎片，每个碎片大小相等。然而，我有理由认为这种“近似”的混洗是不够的，我还认为馈送已经混洗的数据将提高训练速度。所以现在我的问题是:在我将我的数据集分

浏览 2提问于2020-12-08得票数 1

1回答

计算torch.utils.data.DataLoader中数据对应的光流

python、pytorch、opencv-python

我已经在PyTorch的视频中建立了一个动作识别的CNN模型。我正在使用torch dataloader模块加载训练数据。train_loader = torch.utils.data.DataLoader( batch_size=8,但问题是，我不确定如何获得与列车数据加载器张量中的数据相对应的图像，因为它们将被混洗。我不想预先计算光流，因为存储需求将是巨大的(每帧需要60

浏览 40提问于2019-04-12得票数 2

回答已采纳

1回答

如何判断新数据集中的样本是否属于PyTorch中的原始数据集？

dataset、pytorch、shuffle

我是PyTorch的新手。现在，我有两个名为A和B的数据集(例如: MNIST)。我想把A和B混合在一起形成一个新的数据集。我想对这个新的数据集进行混洗。在训练期间，我需要确定批量样本是否属于A。这两个问题是:1)如何混合两个数据集并对其进行打乱?2)如何确定新数据集中的样本是否属于原始数据集A？

浏览 0提问于2020-08-15得票数 0

1回答

如何用pytorch在cifar10或stl10中加载一种类型的图像

pytorch、conv-neural-network、dataloader

这是一个非常简单的问题，我只是想从一个标准的pytorch图像数据集中选择一类特定的图像(例如"car")。目前，数据加载器如下所示： def cycle(iterable): for x in iterable: torchvision.datasets.STL10('drive/My Drive&#

浏览 92提问于2020-12-07得票数 0

回答已采纳

2回答

如何对内存中的数据进行重新排序以优化缓存访问？

c#、performance、caching

我想混洗一个大型数据集(类型为List<Record>)，然后对其进行多次迭代。通常，混洗列表只会混洗引用，而不是数据。由于频繁的缓存丢失，我的算法的性能受到了极大的影响(3倍)。我可以对混洗后的数据做一个深度拷贝，使其对缓存友好。然而，这将使内存使用量翻倍。有没有一种更节省内存的方法来对数据进行混洗或重新排序，以便混</e

浏览 2提问于2014-08-01得票数 1

3回答

Python Dataframe:对行组进行混洗

python、machine-learning-model、dataframe

在数据框中混洗一组行的最佳方法是什么？对于模型的混洗训练集，需要这个。例如，每10行作为一个单独的组进行混洗，或者有一些逻辑条件来创建单独的组并将它们作为一个组进行混洗。

浏览 1提问于2018-08-10得票数 1

3回答

就地混洗多个HDF5数据集

python、numpy、hdf5、h5py

我在同一个文件my_file.h5中保存了多个HDF5数据集。这些数据集具有不同的维度，但第一个维度中的观测值数量相同：labels.shape = (1000000)重要的是，信息/标签数据正确地连接到每组要素，因此我希望使用相同的种子对这些数据集进行混洗。此外，我想在不将它们完

浏览 2提问于2015-06-22得票数 6

1回答

在pytorch上添加验证数据

python、pytorch

下面我将在训练和测试中拆分数据，然后加载到tensordataset中。添加验证拆分的直接方法是什么？y) train_loader = DataLoaderbatch_size) test_loader = DataLoader</

浏览 1提问于2020-12-02得票数 0

1回答

Tensorflow在预处理期间对数据进行两次混洗

tensorflow、tensorflow-datasets

在TensorFlow加载图像中教程，作者在使用tf.data时似乎对数据进行了两次打乱： list_ds = tf.data.Dataset.list_files(str(data_dir/'*

浏览 58提问于2021-02-16得票数 0

回答已采纳

1回答

如何随机调整Pytorch数据集的标签？

machine-learning、computer-vision、dataset、pytorch

我是Pytorch的新手，在一些技术问题上遇到了麻烦。我已经使用以下命令下载了MNIST数据集： download=True)我正尝试手动操作，但它告诉我“'tuple‘对象

浏览 23提问于2019-07-27得票数 3

回答已采纳

1回答

是否可以使用数据集元素的索引来混洗数据集？

tensorflow、tensorflow-datasets

在此数据集上，当我使用tf.data.shuffle(buffer_size = some_number)进行混洗时，使用消息Filling Up the shuffle buffer进行混洗需要花费大量时间我的问题是，是否有一种方法可以通过使用列1/列2的索引来混洗数据集，因为这可能不会花费太多时间进行混洗，因为它只是索引。

浏览 0提问于2019-08-19得票数 1

1回答

如何从熊猫数据中准备一维数据集？

pytorch、dataset

我正在尝试从一个熊猫数据框架制作一维数据集，然而，输出是奇怪的。我编写了从熊猫数据转换数据集的代码:大小为8000x512，class carte_dataset(Dataset): def __init__(self,root从熊猫数据中制作一维数据集的方法合适吗？此外，如果这种方式是不正确的，我应该如何修改这个代码？

浏览 1提问于2022-07-20得票数 0

回答已采纳

1回答

spark作业的优化

python、apache-spark、pyspark

我是spark的新手，想知道关于spark工作的优化。

浏览 0提问于2017-07-23得票数 0

2回答

Apache Spark:使用RDD.aggregateByKey()实现RDD.groupByKey()的等价物是什么？

apache-spark、rdd、pyspark

这将导致在混洗之前在工作进程中进行一些聚合，从而减少工作进程之间的数据混洗。给定以下数据集和groupByKey()表达式，什么是不利用groupByKey()但提供相同结果的等效且有效的实现(减少的跨工作进程数据混洗)？

浏览 0提问于2015-06-27得票数 11

回答已采纳

3回答

如何保存PyTorch的DataLoader实例？

pytorch

我想保存PyTorch的torch.utils.data.dataloader.DataLoader实例，这样我就可以继续训练我离开的地方(保留随机种子、状态和所有东西)。

浏览 536提问于2020-04-02得票数 3

回答已采纳

2回答

TFRecords和记录混洗

tensorflow

我的理解是，对每个时期的训练样本进行混洗是一种很好的做法，这样每个小批量都包含整个数据集的一个很好的随机样本。如果我将整个数据集转换为包含TFRecords的单个文件，那么如何在加载整个数据集的情况下实现这种混洗呢？我的理解是，没有有效的随机访问TFRecord文件。

浏览 3提问于2016-02-27得票数 16

点击加载更多