我正在使用tensorflow的tensorflow.data.Dataset api。但是,我需要动态地创建数据集,过滤掉其他数据集的元素。虽然培训进行得很好,而且我可以迭代训练集和dev集,但是当我用刚才使用过滤器创建的新数据集重新初始化迭代器时,我会收到以下异常:
tensorflow.python.framework.errors_impl.NotFoundError: Function tf_predicate_5HKZIzWZBv8 is not defined.
我使用以下函数从dataset中创建一个初始值:
self.iterator.make_initializer(dat
我正在使用开源的Tensorflow实现研究论文,例如。我使用的大多数库都配置为在本地训练模型,但是我想使用Google来训练模型,因为我的笔记本上没有GPU。我发现很难更改代码以支持GCS存储桶。目前,我正在将日志和模型保存到/tmp中,然后运行一个“gsutil”命令,在培训结束时将目录复制到gs:// my ()。如果我尝试将模型直接保存到gs://my-bucket,它就永远不会出现。
对于训练数据,tensorflow样本之一将数据从GCS复制到/tmp for training (),但这仅在数据集较小的情况下起作用。我想使用celebA,而且它太大了,无法每次运行时都复制到/tm
我已经创建了一个具有相当复杂转换的dataset (tf.data.Dataset),并将其缓存到一个文件中。我的问题是,如何在不重新构造dataset对象的情况下再次读取该数据集的内容。例如:
import tensorflow as tf
tf.enable_eager_execution()
db = tf.data.Dataset.range(10)
db = db.cache('/tmp/range')
for v in db:
print(v)
# /tmp/range.data-00000-of-00001 /tmp/range.index files