我想混洗一个大型数据集(类型为List<Record>)，然后对其进行多次迭代。通常，混洗列表只会混洗引用，而不是数据。由于频繁的缓存丢失，我的算法的性能受到了极大的影响(3倍)。我可以对混洗后的数据做一个深度拷贝，使其对缓存友好。然而，这将使内存使用量翻倍。
有没有一种更节省内存的方法来对
浏览 2提问于2014-08-01得票数 1
我有多个具有相同结构的tensorflow数据集。我想把它们组合成一个数据集。使用
但我发现，当对这个组合数据集进行混洗时，该数据集并没有在整个数据集的规模上进行混洗。但在每个分离的数据集中进行了混<em
浏览 1提问于2018-08-09得票数 5
我使用tensorflow dataset api将数据提供给模型。据我所知，我应该对数据集进行混洗，以从模型中获得最佳性能。然而，由于我训练了一个时期，然后测试了一个时期，以此类推。我不太确定我是否在以不同的方式执行洗牌。train_iterator = train_dataset.make_initializable_iterator(shared_name="Training_iterator") 因此，每当
浏览 31提问于2019-02-22得票数 0
回答已采纳
我正在使用tensorflow (TF1.14和TF2.0)中的tf.data.experimental.make_csv_dataset来读取一个包含3列的csv文件:索引、column1和column2对我来说，只有第1列和column2是重要的。column1中的每个元素都是一个形状为(1,4)的数组，而column2的形状为(1,1)。在此数据集上，当我使用tf.data.shuffle(buffer_size = some_number)进行混</em
浏览 0提问于2019-08-19得票数 1
例如，对于cifar10数据集，直接使用pytorch自带的数据集，在相同的网络结构下，准确率可以达到96%，但我将cifar10转换成图片后，我对其进行了测试，准确率仅为92%。为什么？test_dataset = dset.CIFAR10(args.data_path, train=False, transform=test_transform, download=True) 修改后的代码如下
浏览 26提问于2020-08-11得票数 1
我有一个相对较大的数据集，它是非常异构的。在模型的训练过程中，我已经使用了shuffle my dataset，如文档示例: (但无法将其全部混洗，因为它会占用太多内存)，我还将我的数据集分成多个小碎片，每个碎片大小相等。然而，我有理由认为这种“近似”的混洗是不够的，我还认为馈送已经混洗的数据将提高训练速度。所以现在我的问题是:在我将我的
浏览 2提问于2020-12-08得票数 1
2回答
我是Tensorflow的新手，一直在根据我在ts网站上找到的教程进行一些模型训练。我已经能够将满足我的初步需求的功能组合在一起。我在本地读取了一个csv文件，它提供了一些指向与同一csv行上的标签相关联的图像的链接。我可以理解这是因为我一次读取所有数据，但我在这里采取下一步能够管理更大的数据集时有点受阻。我猜下面这部分是需要改进的部分：这里有没有人能帮我继续往前走，引导我到一些例子或片段，在那里
浏览 0提问于2020-05-02得票数 0
2回答
大家好，我是神经网络的新手，我写了一个模型CNN架构Resnet50在训练我的模型之后保存模型，然后加载模型而不用重启运行时得到相同的结果，但是为什么当重启运行时google colab并运行xtrainprint("Test Loss " + str(valdata[0]))
print("Test Acc: " + str(valdata[1])) -after训练和保存模型然后运行负载模型而不重新启动运行时google colab :正如您所看到的，测试获得损失: 0.9411 -准确性: 0.6514 训练损失
浏览 51提问于2021-06-24得票数 0
在Tensorflow中，我目前正在开发一个创建4D numpy矩阵并输出保存的tensorflow数据集的程序。我真的不关心它将占用多少内存，因为它至少适合80 of的ddr4内存。tf.data.experimental.save(tf.data.Dataset.from_tensor_slices(matrix),output_path+"_unshuffled",compression="GZIP")
种子是为了以后对数据
浏览 1提问于2021-01-25得票数 0
1回答
以上是代理在gym环境LunarLanderContinuous-v2上运行时每100集的平均得分。橙色和蓝色线条是代理将过渡顺序馈送到策略梯度算法(例如，ppo)时的结果，而红线是代理在将收集的过渡馈送到算法之前对收集的过渡进行打乱时的结果。我不明白为什么简单地对数据进行混洗会产生如此大的不同。据我所知，神经网络假设输入数据是IID，因此DQN等算法会对数据(或重放缓冲区中的随机
浏览 15提问于2019-02-10得票数 0
3回答
我在同一个文件my_file.h5中保存了多个HDF5数据集。这些数据集具有不同的维度，但第一个维度中的观测值数量相同：labels.shape = (1000000)重要的是，信息/标签数据正确地连接到每组要素，因此我希望使用相同的种子对这些数据集进行<
浏览 2提问于2015-06-22得票数 6
有没有一种方法可以重新分区已经分区的数据集，以便有效地减少单个分区中的文件数量，即不进行混洗？例如，如果数据集由某个key分区 part1 .repartition("key") .partitionBy("key")
.parquet("/ou
浏览 12提问于2019-08-15得票数 0
我使用随机梯度下降(SGD)算法进行回归任务，并训练网络以进行输入数据点的多次迭代。我发现，在相同的迭代次数下，与未洗牌的输入数据相比，对输入数据进行混洗会产生更好的结果。举个例子，我正在训练网络，学习输入范围在-1,1之间的"Square“函数，总共有100个点和500次迭代。因此，总的训练点将是100*500，如果我将所有这些训练点都洗牌，系统会表现
浏览 1提问于2015-04-08得票数 2
我的数据集有一个分区，所以我不确定为什么它会这么混乱。有人知道这里到底发生了什么吗？
浏览 0提问于2015-12-17得票数 15
我正在尝试指定通过联邦框架传递给每个客户端的验证数据，以便对其进行训练/验证。我知道tensorflow-federated会随机抽取每个客户端的数据集并对其进行验证。但是，如果我的数据(在一个子集内)非常相关，我如何(在TFF框架中)为每个客户端指定验证数据集？你认为在这里混洗数据
浏览 0提问于2019-06-25得票数 1
之所以将validation_steps设置为不同的工作方式，是因为开发人员希望确保每次验证运行都使用相同的数据。在我的例子中，我宁愿这不是validation_steps的工作方式。我的数据集(包括训练和验证)都相当大，我希望经常进行验证，而不是花费过多的时间。但是，我也不希望仅在有限的验证数据集上进行验证。这可以通过混洗整个验证集来实现，但同样，由于数据<em
浏览 0提问于2020-04-02得票数 0
1回答
我正在尝试创建一个简单的字符串-标签对的数据集，但是无法让tensorflow正确地连接这些对 我尝试使用Dataset.from_tensor_slices初始化器和dataset.make_one_shot_iterator迭代器： import tensorflow as tf
'aaaa',]
labels =
浏览 7提问于2019-04-14得票数 0
回答已采纳
我理解在Spark中，map()是一种狭义的转换，因此没有必要进行混洗。但如果map()可以更改密钥，那么在映射完成后可能需要重新洗牌数据，即它不再是一对一的分区。那么，为什么它被认为是狭义的转换呢？
浏览 2提问于2020-04-29得票数 1
我使用卷积网络对不同形状的图像进行分类。我找不到在Tensorflow中加载图像的方法。基于，它应该与tf.data.Dataset()一起工作。我以这种方式创建数据集：dataset = dataset.map(read_file)Shapes are: [element]: [295,256,3], [parent slice]: [276,128,3]
是否可以使用<e
浏览 9提问于2017-10-17得票数 2
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
