在tensorflow (或keras)中应用通道混洗

文章/答案/技术大牛

发布

1回答

python、tensorflow、keras

我正在尝试在tensorflow (或keras)中实现一个通道混洗功能。一种使用concatenate()的tensorflow工作实现 import tensorflow as tffrom tensorflow.kerasimport layers from <em

浏览 22提问于2020-07-08得票数 1

1回答

对TensorFlow Keras图层中的轴进行重新排序

python、tensorflow、keras、tensorflow2.0、tf.keras

我正在构建一个模型，该模型沿着第一个非批处理轴对数据应用随机混洗，应用一系列Conv1Ds，然后应用混洗的反方向。不幸的是，tf.gather层搞乱了批处理维度None，我不知道为什么。import tensorflow as tffrom tensorflow.keras import layers

浏览 37提问于2021-11-04得票数 1

回答已采纳

1回答

Keras课程学习- change shuffle方法

keras、deep-learning、shuffle

我想改变我们在Keras中混洗训练数据的方式。传统上，我们在每个时期对样本进行混洗，然后批量处理并拟合模型。现在我想先对样本进行批量处理，然后对这些“批次”进行混洗(每个批次中的所有样本都不能进行混洗)。原因是我根据标准(课程学习)订购了所有样本，我希望保留这样的顺序。你知道我该怎么做吗？

浏览 16提问于2020-07-19得票数 0

1回答

tf、train.SequenceExample的批量填充和混洗

python-3.x、machine-learning、tensorflow

我一直在关注一些参考文献，比如在和中，看看我们如何在批处理中同时执行填充和混洗。第一个链接更接近我的预期，但填充不会在批处理中混洗。单个批次被混洗，但不是批次元素。在第二个链接中，使用了标准的tensorflow，如tf.train.batch和tf.train.suffle_batch，前者只做填充，但不做混洗。是否有其他方法

浏览 4提问于2017-06-24得票数 0

1回答

我正在使用TFrecords和keras拟合神经网络模型。我有一个相对较大的数据集，它是非常异构的。在模型的训练过程中，我已经使用了shuffle my dataset，如文档示例: (但无法将其全部混洗，因为它会占用太多内存)，我还将我的数据集分成多个小碎片，每个碎片大小相等。然而，我有理由认为这种“近似”的混洗是不够的，我还认为馈送已经混洗的数据将提高训练速度。所以现在我的问题是:在我将我的数据集分成Tfreco

浏览 2提问于2020-12-08得票数 1

1回答

是什么导致了我在tensorflow中的分段错误？

python、numpy、tensorflow

在Tensorflow中，我目前正在开发一个创建4D numpy矩阵并输出保存的tensorflow数据集的程序。我真的不关心它将占用多少内存，因为它至少适合80 of的ddr4内存。tf.data.Dataset.from_tensor_slices(matrix),output_path+"_unshuffled",compression="GZIP") 种子是为了以后对数据集进行混洗，我存储了两个版本，一个是未混洗<

浏览 1提问于2021-01-25得票数 0

2回答

散列算法混洗？

algorithm、sorting、hash、shuffle、passphrase

我希望设计一种对列表中的项进行混洗的排序过程/算法，但要根据输入的散列唯一地做到这一点；因此，当对相同的输入--本质上是密码短语--进行散列或处理时，会重新生成完全相同的混洗。这将需要具有唯一地混洗26^4项的能力(应用程序将两个列表配对，每个列表的长度为26^4项，但它只需要混洗其中的一个)。这能成为一件事吗？

浏览 1提问于2018-04-20得票数 0

1回答

如何在TensorFlow* 2.0中使用tf.data应用程序接口在每个时期对数据进行混洗？*

python-3.x、tensorflow2.0

我正在亲手使用TensorFlow 2.0来训练我的模型。tf.data应用编程接口中的新迭代功能非常棒。但是，当我执行以下代码时，我发现，与torch.utils.data.DataLoader中的迭代特性不同，它不会在每个时期自动混洗数据。我如何使用TF2.0实现这一点？import numpy as npdef sample_data(): bat

浏览 8提问于2019-04-25得票数 1

回答已采纳

2回答

我能以确定性的方式执行Keras训练吗？

random、keras、keras-layer

我使用的是Keras Sequential模型，其中每次运行的输入和标签都完全相同。Keras使用的是Tensorflow后端。我也尝试过播种Numpy的random()方法：有了上面的内容，我在训练后仍然得到了不同的准确率和损失值

浏览 0提问于2017-09-05得票数 2

1回答

shuffle=True如何影响具有两个输入的Keras模型？

python、keras、neural-network、shuffle

下午好,假设我关注的特性有一个True或False值。

浏览 0提问于2020-10-07得票数 1

8回答

关于keras中的set_image_dim_ordering('tf')

tensorflow、keras

在尝试Keras实现时，我做了以下操作：K.set_image_dim_ordering('tf') 它会生成以下错误消息。什么意思？我认为set_image_dim_ordering包含在Keras中。

浏览 15提问于2016-11-20得票数 3

1回答

为什么tf.keras model.fit()初始化需要这么长时间？如何对其进行优化？

python-3.x、tensorflow、tf.keras

使用tensorflow.keras (支持GPU的2.0-Alpha0)，我在新编译的模型和之前保存和重新加载的模型上使用tf.keras.model.fit()的初始化时间都非常长。我相信这是在tf.data.Datasets()已经加载和预处理之后，所以我不明白为什么花了这么长时间，并且TF/Keras没有输出： 2019-04-19 23:29:18.109067: tensorflow/core/common_runtime&#x

浏览 98提问于2019-04-20得票数 11

2回答

在构建CNN模型时，训练数据的顺序重要吗？

python、keras

我正在查看位于的Keras CNN示例，我看到输入数据具有随机混洗的正面和负面情绪训练样本。我想知道CNN是否对训练数据的排序敏感。

浏览 2提问于2019-12-19得票数 0

2回答

keras.layers.BatchNormalization()中的第一个轴是0还是1？

keras、batch-normalization

我正在做Andrew Ng在Coursera上写的'Keras_Tutorial_v2a‘，我对keras.layers.BatchNormalization()中的轴参数感到困惑。我找不到指定这一点的文档，但通常在python中，索引和轴都是从0开始的。所以在这个函数中，两个轴都是从1开始的，或者我遗漏了什么。有人能帮我澄清一下吗？我敢肯定这是很简单的事情！

浏览 127提问于2021-02-10得票数 0

回答已采纳

1回答

如何控制联邦框架的验证数据

tensorflow-federated

我知道tensorflow-federated会随机抽取每个客户端的数据集并对其进行验证。但是，如果我的数据(在一个子集内)非常相关，我如何(在TFF框架中)为每个客户端指定验证数据集？你认为在这里混洗数据有意义吗？在keras训练中，我们在集合A上训练模型，并在集合B上验证训练： model.fit(InA,OutA, validation_data=(In_valid_B,Out_valid_B),batch_s

浏览 0提问于2019-06-25得票数 1

1回答

将numpy数组传递给tensorflow队列

python、numpy、tensorflow

我有一个NumPy数组，并希望使用在TensorFlow的代码中读取它。我想队列返回整个数据洗牌，一些指定数量的纪元，并抛出一个错误之后。如果我不需要硬编码示例的大小或示例的数量，那将是最好的。我知道我可以使用并将数据插入其中几次，但是: a)我不想浪费内存的epoch*数据，b)它会允许队列在epoch之间混洗。有没有一种很好的方法来读取Tensorflow中的纪元中的混洗数据，而不需要编写自己的

浏览 8提问于2016-08-22得票数 4

回答已采纳

1回答

php mysql随机输出速度

php、mysql

我有一个mysql查询，它从一个110,000,000的表中返回20个结果。在使用php回显它们之前，我想对它们进行混洗。或以某种方式在php中混洗数组？

浏览 1提问于2011-04-12得票数 2

回答已采纳

2回答

有没有一种keras方法来拆分数据？

python、machine-learning、scikit-learn、keras

有没有与此相对应的keras？

浏览 5提问于2018-02-01得票数 12

1回答

报告训练数据集中特定样本的训练损失，而不是训练过程中的平均损失(TensorFlow)

python、tensorflow、keras、lstm、epoch

我正在使用TensorFlow训练LSTM模型。我们知道，在训练过程中，是每个时期的loss和val_loss的报告，这是训练和测试数据集的平均损失。我打算跟踪列车数据集中特定样本的丢失(特定日期)。另外，需要注意的是，我是在fit函数中混洗训练数据。

浏览 0提问于2020-03-12得票数 0

1回答

Gridsearch CV会在创建折叠之前对数据进行混洗吗？

scikit-learn、shuffle

我经常使用sklearn GridsearchCV来调优超参数，但是我想知道在创建折叠之前，我给它的数据集是否会被打乱。我希望它不会被打乱，但我找不到它是否在文档中。像train_test_split这样的东西有一个布尔值可以混洗或不混洗。

浏览 26提问于2020-07-23得票数 0

回答已采纳

点击加载更多