我希望使用tf.data.Dataset.from_generator来帮助我生成输入数据流。dataset = tf.data.Dataset.from_generator(sample_generator,
output_types但是，tf.data.Dataset.from_generator只能生成数据流，我需要将生成的数据提供给网络。
浏览 7提问于2018-08-21得票数 0
我使用的是高IO模型(单个GPU可以处理600MB/秒的不可压缩数据)。它需要大约4个CPU核心来单独处理IO，因此主训练循环过程无法做到这一点。目前，我有多个子进程从分布式文件系统采样数据，并将数据写入本地tfrecords文件(数据集大小超过本地存储)。我的主要训练过程使用TFRecordsDataset & tf.data.Dataset.from_generator在将文件写入磁盘时迭代文件。它是有效的，但是仅仅为了再次读取它
浏览 17提问于2020-04-05得票数 1
1回答
我想在几百个GBs的数据上建立一个预测模型。这些数据需要一些不需要密集的预处理，我可以在火星雨中完成，但在tensorflow中不需要。在我的情况下，直接将预处理的结果传递给TF会更方便，理想的情况是将吡火花数据帧作为虚拟输入文件传递给TF，而不是将预处理后的数据保存到磁盘上。然而，我根本不知道怎么做，我在网上也找不到任何地方。经过一些思考后，在我看来，我实际上需要一个迭代器(如tf.data.Iterator所定义的)来处理spark的数据。假设我不关心行的顺序，为什么不可能迭代火花数据</em
浏览 1提问于2018-04-30得票数 6
回答已采纳
我正在使用tf.data.Dataset来构建训练管道，但我似乎无法达到这个速度。我在管道中使用from_generator (见下文)，我怀疑python全局锁是问题的一部分。管道读取TFRecords和馈送数据到培训
我有两个发电机功能，我正在叠加，以分散工作负荷。generator_step1 -加载tf_record文件，使用map解析datagenerator_step2 -处理数据并生成批数据。= tf.data.Dataset.from_tensor_slices(tf_records_fi
浏览 1提问于2020-01-01得票数 0
我将我的旧数据器(使用队列)切换到“新的”和推荐的Dataset API。我是第一次使用它，所以我提供代码示例，以防我犯了根本错误。 (tf.uint8, tf.uint8), (tf.TensorShape，我需要定义一个Iterator
sample = sample_set.make_one_sho
浏览 0提问于2018-03-19得票数 1
回答已采纳
如果我从整个数据生成一个tf.dataset，然后将其划分为培训、测试和val集，那么培训工作正常，培训和验证集的损失也会减少。但是，如果我首先将数据拆分为培训、测试和val，然后为每个数据生成一个tf.dataset，则损失在培训集中而不是在验证集上。 for mol in molset: y = mol.value()
dataset = <
浏览 6提问于2022-02-08得票数 1
尝试构建简单的模型，只是为了弄清楚如何处理tf.data.Dataset.from_generator。我无法理解如何设置output_shapes参数。0, 1, SIZE)
shapes = (SIZE, SIZE) es = es.train(input_fn=input_func_gen)
另一个问题是，是否可以使用此功能为tf.f
浏览 1提问于2018-02-13得票数 9
回答已采纳
我一直在尝试连接我从多个tf.data.Dataset.from_generator生成的大约100个数据集。for i in range(1, 100): tf.data.Dataset.from_generator
浏览 14提问于2018-08-31得票数 5
我想创建一个tf.data.Dataset.from_generator(...)数据集。我需要传递一个Python generator。我想将以前数据集的一个属性传递给生成器，如下所示： map_func=lambda x: tf.data.Dataset.from_generator(generator=lambda: gen(x), output_types=tf.int64),)
其中，我将gen(...)定义为接受
浏览 2提问于2018-01-19得票数 1
回答已采纳
因此，我开始了一个基于tensorflow的小项目，无法理解如何准备从内存输入生成的数据集。我有一个随机的来源，产生图像。而不是把它传递给python脚本。以png格式作为字节数组创建的图像。我收集图像到数组，并希望从其中准备数据集，并在此数据集基础上对模型进行培训。
浏览 2提问于2022-06-30得票数 0
回答已采纳
我很难将我的(杂乱的)代码从tensorflow核心传递到Estimator范例，特别是使用Experiments和learn_runner.run。但实际上我在给神经网络提供数据方面有问题。我想要实现的实际上是非常接近于TensorFlow和tf.TextLineReader的所有示例所做的工作，例如，尽管我不是从磁盘上的文件中加载数据，而是使用web服务加载数据。，也无法访问添加内部操作的图表。我工作得很好，尽管速度有点慢(就像预期的那样，从C++执行到Python
浏览 8提问于2017-07-19得票数 1
我需要向神经网络模型提供从生成器读取的数据。range(100):train_data = tf.data.Dataset.from_generator我可以做些什么来使生成器中的数据适合我的模型？
浏览 11提问于2020-06-19得票数 0
我已经构建了一个tf.data.Dataset管道来将我的数据转换为张量，并且在我管道的末尾，我正在缓存数据以加速后续的数据迭代。下面是一个简化的示例，它生成一个图像数据集，并将其缓存到my_cache。tspec = tf.TensorSpec(shape=(32,32,3), dtype=tf.float32)ds = tf.data.Dataset.from_generator
浏览 28提问于2021-08-04得票数 0
“ 我过去曾使用生成器从.hdf5文件中提取数据，但这里我要做的是从callable类中的函数生成波形数据。在tf.data.Dataset.from_generator()外部调用生成函数可以正常工作： next(sine_wave_source()) import numpy as np yield np.sin(2*np.pi*self.fc*t,dtype = 'float32
浏览 16提问于2019-05-22得票数 2
回答已采纳
X_train：(259018，30，30，3)，<class 'numpy.ndarray'>我使用以下代码创建数据集但是我不能创建数据集，我会得到以下错误：
2021-09-02 15:26:35.429930: I tensorflow/core/platform/cpu_feature_guard.cc:142]我可以创建一个直到X_train:240000的数据
浏览 6提问于2021-09-02得票数 4
回答已采纳
我在python中有一个列表X，每个列表包含20000个维度为(100,100,3)的图像。每个图像的类型都是numpy.ndarray。我希望使用Tensorflow中的model.fit(X)输入这组图像作为CNN模型的训练向量。但是，这样做会产生以下错误： ValueError: Failed to find data adapter that can handle input: (<class 'list'> containing values of types {"<class 'numpy.ndarray'>"
浏览 32提问于2020-10-02得票数 2
回答已采纳
我使用这样的代码递归地从目录加载图像，并获得相关的标签-目录名。但是当我有更多的图像时，它会因为内存错误而崩溃。我想使用生成器，但我真的被它卡住了。有人能帮帮忙吗？
浏览 46提问于2019-02-21得票数 0
我研究了不同的方法，可以使用自定义Tensorflow数据集，并且我习惯于查看，但当我查看时，我看到了下面的示例： time.sleep(0.015)
return tf.data.Dataset.from_generatordtype = tf.int64),
浏览 6提问于2022-05-20得票数 2
当我们需要逐个样本提供数据时，通过dataset管道动态地输入数据的新方法(在急切的执行下)是什么？我有一个tf.data.Dataset，它执行一些预处理步骤，并从生成器读取数据，在培训期间从大型数据集中提取数据。tf.data.make_initializable_iterator(ds)
请记住，本例中的map操作代表了一个长序列的预处理操作，不能在输入的每个新数据样本中
浏览 1提问于2019-07-08得票数 3
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
