为什么TensorFlow的Dataset API不能知道TFRecord的尺寸？

文章/答案/技术大牛

发布

1回答

python、tensorflow

我有一组3x32x32的图像，我已经将它们转换成一个TF记录文件。当我尝试使用Dataset API读取数据并查看操作的形状时，我得到的结果是：image2': <tf.Tensor 'IteratorGetNext_2:2' sha

浏览 8提问于2018-01-15得票数 1

回答已采纳

1回答

Tensorflow对象检测API tfrecord

tfrecord

我是tensorflow TFRecord的新手。因此，我正在研究Tensorflow对象检测API代码 input_path: "/path/to/train_dataset.record-?????-of-0001

浏览 20提问于2018-08-04得票数 0

1回答

.record与.tfrecord的区别

tensorflow、roboflow

我已经从https://public.roboflow.com/下载了一个包含test.tfrecord和train.tfrecord的数据集它和test.record和train.record一样吗

浏览 32提问于2020-12-10得票数 1

回答已采纳

1回答

TensorFlow数据集:地图前的洗牌(map_and_batch)？

python、tensorflow、tensorflow-datasets

TensorFlow提供的股票示例在shuffle之前使用map，如下所示：dataset = tf.data.TFRecordDataset(filenames)dat

浏览 0提问于2018-08-18得票数 4

3回答

Tensorflow: TFRecord文件中的示例数--不使用不推荐使用的`tf.python_io.tf_record_iterator`

tensorflow、tfrecord

在标记重复的之前请阅读帖子我正在寻找一种高效的方法来计算TFRecord图像文件中的示例数。由于TFRecord文件不保存有关文件本身的任何元数据，因此用户必须遍历该文件才能计算该信息。在StackOverflow上有几个不同的问题可以回答这个问题。问题是，它们似乎都使用了不推荐的命令，因此这不是一个稳定的解决方案。所以我想知道是否有一种方法可以使用新的Dataset <em

浏览 2提问于2019-04-09得票数 7

回答已采纳

1回答

获取来自tf，parse_exampes中的示例的文件名

tensorflow、tensorflow-datasets

我正在用tensorflow编写一个数据输入管道，它使用了一堆具有不同示例(类型)的tfrecord文件。我使用的代码如下：dataset = tf.data.TFRecordDataset(filenames) datase

浏览 0提问于2018-04-10得票数 3

1回答

如何将多个tfrecord数据集组合成一个数据集？

python、tensorflow、deep-learning、tfrecord

假设我有3个tfrecord文件，即neg.tfrecord**，** pos1.tfrecord**，** pos2.tfrecord**.**我将在TFRecordDataset ()(急切执行)中使用这个keras.fit对象。我的tensorflow版本是1.13.1。我在中找到了API，例如interleave、conc

浏览 0提问于2019-03-18得票数 2

回答已采纳

1回答

我想从TFRecord读取数据

python、tensorflow、machine-learning

我将图像日期保存到tfrecord中，但不能用tensorflow dataset api解析它。但当我使用Dataset API为我的ML模型获取图像时，情况并非如此。= tf.data.TFRecordDataset('training.tfrecord')dataset = <

浏览 0提问于2019-03-27得票数 0

回答已采纳

1回答

从.tfrecord到tf.data.Dataset再到tf.keras.model.fit

python、tensorflow、keras、deep-learning

我正在尝试使用Tensorflow (v2.0)的dataset API来将大量数据传递给tf.keras.model。数据集与tensorflow文档中看到的格式完全匹配(例如，请参阅https://www.tensorflow.org/tutorials/load_data/tfrecord#reading_a_tfrecord_file我想我可以弄清楚如何将张量从我的</

浏览 34提问于2020-01-14得票数 1

回答已采纳

2回答

Tensorflow数据集API中的内存管理

tensorflow、tensorflow-datasets

我的训练数据集太大，内存无法容纳，所以我的代码一次只能从磁盘读取1000条记录。现在我想使用Tensorflow的新。Dataset API是否允许我指定要在内存中保留的记录数，或者Tensorflow是否会自动管理内存以便我不必这样做？

浏览 8提问于2017-07-16得票数 8

1回答

从大量图像(.jpg)和标签(.mat)创建tensorflow数据集

python、tensorflow、mat-file

我有大量带有标签(.mat)文件的图像(不能使用tf.data.Dataset.from_tensor_slices())，我希望使用tensorflow数据集使用tf.data API。但是，我不能在scipy.io.loadmat方法的任何部分使用map，因为我没有指示mat文件路径的字符串。我只有tf.Tensor。在这种情况下，我不认为阅读所有的图片和制作TFRecord是那么的有效，因为那时我基本上是做了两

浏览 1提问于2018-10-24得票数 1

回答已采纳

1回答

如何在TF 2.0数据集映射步骤中从张量中获取和使用值？

tensorflow、tensorflow2.0、tensorflow-datasets

我使用的是TensorFlow Alpha2.0。(dataset) dataset = dataset.map(parse_tfrecord)这对我来说很有意义，为什么张量不能被解释为int，但是我如何从张量中得到值来设置范围呢？我遇到的问题在于每个“框架”对象都有不同数量的帧。如

浏览 0提问于2019-03-15得票数 1

1回答

使用feed_dict比使用dataset* API快5倍多？*

tensorflow、tensorflow-datasets

我创建了一个TFRecord格式的数据集进行测试。每个条目包含200个列，名为C1 - C199，每个列是字符串列表，label列表示标签。创建数据的代码可以在这里找到：dataset = tf.data.TFRecordDataset(data_file)dataset = dataset.

浏览 0提问于2018-06-10得票数 7

回答已采纳

1回答

MacOS: ModuleNotFoundError:没有名为'object_detection‘的模块

python、tensorflow、tensorflow2.0、object-detection、object-detection-api

python {'/content/generate_tfrecord.py'} -x {'/content/Training'} -l {'/content/label_map.pbtxt'} -o", line 29, in <module>ModuleNotFoundError

浏览 5提问于2021-01-12得票数 0

1回答

如何将tensorflow.compat.v1作为tf的导入张量转换为numpy数组？

python、tensorflow

，然后决定不将其包含在训练数据中…… tfrecord_dataset = tfrecord_dataset.map(lambda x:_parse_(x)).shuffle(buffer_size).repeat(-1).batch(batch_size) tfrecord_dataset = tfrecord

浏览 0提问于2020-11-28得票数 0

1回答

具有前填充或后填充选项的Padded_batch

tensorflow、dataset、padding

我有一个可变长度序列的数据集( tensorflow TFRecord数据集)来馈送LSTM网络，我想尝试比较批处理中的前后填充，但当前的padded_batch函数仅在序列末尾填充。我知道我们在应用程序接口中有tf.keras.preprocessing.sequence.pad_sequences函数，但我不知道如何将该函数应用于数据集批处理程序。tensorflow中的padded_batch函数同时执行填充和批处理，它将动态地

浏览 14提问于2019-10-23得票数 2

1回答

如何在parallel_interleave中使用TensorFlow

python、tensorflow

我正在阅读TensorFlow 中的代码。下面的代码是从TensorFlow文件创建TFRecord数据集的部分：ds, cycle_length=10)) 我不知道该写什么？地点。map_func in parallel_interleave()是用于TFRecord文件的tf.data.TFRecordDat

浏览 2提问于2018-04-26得票数 6

回答已采纳

1回答

无法使用`.batch`和`.padded_batch`对数据集进行批处理

python、tensorflow、tf.data.dataset

我正在编写一些可变长度的字符串特性到tfrecord。如果这个特性对所有示例都具有相同的形状，那么它运行的非常好，没有问题。如果形状变化，则每当读取创建的tfrecord时，都会引发下面的错误。(fp, batch_size): dataset = files.flat_map(tf.data.TFRecordDataset('xyz.tfr

浏览 23提问于2022-05-28得票数 1

1回答

用于删除和附加数据元素的tf.data.Dataset访问索引

tensorflow、keras

我目前正在做一个研究项目，在这个项目中，我必须在一些时代之后附加我的训练集，并在评估后从测试集中删除一些样本。目前，我无法访问tfrecord文件中的记录(放置在特定索引下)以删除或追加记录。因为tfrecords提供非常快的训练，所以我避免使用发电机。有建议以这种方式访问tfrecord文件吗？

浏览 0提问于2019-08-19得票数 3

回答已采纳

1回答

如何使用Tensorflow* 2.0数据集在训练时执行10个裁剪图像增强*

python、tensorflow、tensorflow-datasets、tensorflow2.0、data-augmentation

我正在使用Tensorflow Dataset API并从TFRecord文件中读取数据。有没有办法使用tensorflow dataset API来做到这一点？map()函数只返回一张图片，我不能增加图片的数量。请看我现在有的代码。dataset = dataset.map(parse_image, num_parallel_calls=tf.data.experimental.AUTOTUNE

浏览 24提问于2019-08-30得票数 3

点击加载更多