我有多个来自Waymo数据集的TFRecord文件，每个文件都包含不连续的连续点。我正在构建一个输入管道，它通过window()应用程序接口对时间序列预测数据进行预处理，但我需要避免窗口跨越多个文件。 要做到这一点，我认为我应该分别对每个文件进行预处理，并交织最终的数据集。这是我的尝试： import tensorflow as tf
from
浏览 30提问于2020-12-12得票数 0
回答已采纳
在中运行sample.sh脚本，按照花卉示例的步骤对一组图像调用以下预处理。
这两种预处理方法都成功地应用到了eval集和训练集上。但是，所生成的.tfrecord.gz文件似乎与eval/train_set.csv中的映像号不匹配。每个记录都包含一个有效的image_url (所有这些都被上传到存储)，每个记录都有标记的有效标签。想知道是否有一种方法可以监视和控制preproces.py配置中每个tfrecord
浏览 5提问于2017-03-15得票数 0
回答已采纳
我想使用Keras在一个40 GB的图像数据集上训练一个模型，我正在努力使读取这些图像的过程尽可能高效。有没有其他的选择呢？
浏览 1提问于2018-06-14得票数 0
1回答
现在我有了一个对象分类任务，并且我有一个包含大量视频的数据集。在每个视频中，一些帧(不是每一帧，大约16万帧)都有它的标签，因为一个帧可能有多个对象。
我对创建数据集有些困惑。我的想法是首先将视频转换为帧，然后将每一帧只有标签的帧转换为tfrecord或hdf5格式。最后，我将使用for my task将每个帧的路径写入csv文件(训练和验证)。我的问题是: 1.是否有足够的效率(tfrecord或
浏览 18提问于2019-03-26得票数 2
回答已采纳
我有一个可变长度序列的数据集( tensorflow TFRecord数据集)来馈送LSTM网络，我想尝试比较批处理中的前后填充，但当前的padded_batch函数仅在序列末尾填充。tensorflow中的padded_batch函数同时执行填充和批处理，它将动态地查找每批所需的填充大小。我如何自己实现它呢？我现在的代码是这样的，我正在读取多个TFRecord文件</em
浏览 14提问于2019-10-23得票数 2
我正在尝试使用tensorflow-transform v0.11.0和beam仅在本地预处理更大量的数据(一个tfrecord文件~1Go)。我的代码在很大程度上受到的启发
我有一个波束管道，可以处理较小的数据集(<100Mo)，但随着我添加更多的数据，处理时间会急剧增加。作为tf-transform和apache Beam的新手，我很难找到问题的原因和解决方案……而且我想避免使用谷歌Dat
浏览 5提问于2019-01-04得票数 1
当我运行generate_tfrecord.py文件时，它会生成0字节的tfrecord文件，我不知道它以前工作的错误是什么。 !python generate_tfrecord.py -x /content/drive/MyDrive/training_demo/images/train -l /content/drive/MyDri
浏览 3提问于2022-05-16得票数 0
正如我在标题中提到的，我需要具有特殊结构的批次：5555每一个数字代表特征向量。因此，每个类都有N=4向量，{1,2,5} (M=3)，批大小为NxM=12。为了完成这个任务，我使用了Tensorflow Dataset API和tfrecords：
浏览 0提问于2018-07-31得票数 1
回答已采纳
1回答
我找到的关于TFRecords的所有文档都是一个接一个地生成tf.train.Example()的，并使用ex =generate_example(features) # Returns tf.train.Example() instance由于我处理的是非常大的数据，我知道我将为单独编写示例付出高昂的开销
有任何方法可以同时
浏览 0提问于2018-04-11得票数 4
我想用tensorflow来做的对象检测。有没有什么好方法可以写一个数据文件让tensorflow读取？或者只是在tensorflow中读取原始XML文件？下面是一个图片示例：
浏览 55提问于2016-09-02得票数 3
回答已采纳
我想在tensorflow中实现多任务神经网络，为此我需要输入如下内容：
我目前正在使用初始模型的build_image_data.py文件来生成TFRecord文件，但是在这种情况下，每个映像只有一个标签。
浏览 4提问于2017-02-17得票数 1
我是tensorflow TFRecord的新手。因此，我正在研究Tensorflow对象检测API代码
但是我找不到加载tfrecord的代码。我想他们使用.config文件来加载tfrecord，因为我在配置文件中找到了这个。
浏览 20提问于2018-08-04得票数 0
1回答
我想把大的numpy ndarray序列化为TFRecord。问题是，这个过程慢得让人痛苦。对于(1000000，65)大小的数组，它几乎需要一分钟。我很确定有一种更快的方法来序列化它，但我就是想不出来。import numpy as np
浏览 2提问于2020-06-03得票数 3
在使用generate_tfrecord.py时，我总是会得到"generate_tfrecord.py: error: un为人所识别的参数“的错误。但是，我没有改变任何东西，我使用了来自自定义对象检测教程的相同命令，来自TFOD网站。链接：
在Google和本地python环境上都进行了尝试，但仍然存在相同的问题。以前有人经历过这个错误，如果是的话，你是如何解决的？请帮帮忙。谢谢!-o [PATH_TO_ANNOTATIONS_FOLDER]/train.reco
浏览 2提问于2021-05-25得票数 2
最好是从一个项目中获得一个用例，并解释每个用例的使用情况。提前谢谢。
浏览 4提问于2021-01-30得票数 1
回答已采纳
是否有任何方法直接将.tfrecords文件拆分为多个.tfrecords文件，而无需回写每个Dataset示例？
浏览 0提问于2019-02-04得票数 13
回答已采纳
今天，我用我的图像创建了一个.tfrecords文件。图像的宽度为2048，高度为1536。所有的图像几乎都是5.1GB，但是当我使用它来制作.tfrecords时，它几乎是137GB！更重要的是，当我使用它进行训练时，我会得到一个类似于CUDA_ERROR_OUT_OF_MEMORY的错误。:906] DMA: 0 I
浏览 4提问于2017-07-07得票数 1
我有一个tf.data.TFRecordDataset和一个(计算开销很大的)函数，我想将它们映射到它。我使用TensorFlow 1.12和eager，该函数使用EagerTensor.numpy()对我的数据集中的张量进行NumPy ndarray解释。但是，提供给tf.Dataset.map()的函数中的代码不会立即执行，这就是为什么.numpy()转换在那里不起作用，.map()也不再是一个选项。是否可以对数据集进行for循环并修改其中的示例？
浏览 38提问于2019-05-20得票数 1
回答已采纳
1回答
我试图使用记录来自C++的数据，然后在python中使用它来提供TensorFlow模型。
简单地将proto消息序列化到流中并不满足.tfrecord TFRecordDataset 类的格式要求。是否有类似于Python TfRecordWriter .tfrecord in C++ (在TensorFlow或Google库中)来生成适当的.tfrecord数据？.tfrecord文件中的额外页
浏览 7提问于2020-12-14得票数 5
回答已采纳
我有一个大小为600x400的图像数据集，并且我已经将每个图像转换为TFRecord格式。但是我不知道如何使用这些数据？我看过imagenet数据集，发现只有一个二进制文件(从中提取时)。对于图像数据集，是只有一个TFRecord，还是每个图像都有自己的TFRecord文件？
浏览 1提问于2016-12-23得票数 0
云服务器
ICP备案
对象存储
腾讯会议
云直播
腾讯云开发者
