在keras中开发异步生成器

文章/答案/技术大牛

发布

1回答

multithreading、keras、generator

我目前正在使用model.fit_generator在Keras中开发一个CNN模型，目前我有一个使用keras.utils.Sequences类开发的生成器。我已经玩弄了生成器对数据所做的事情，以使其更有效，但它仍然是瓶颈。我的理想情况是让生成器连续处理数据，并将其存储到内存中(甚至是单线程)，并在必要时将其放入GPU中。本质上，我想知道是否有一种方法可以让生成器异步</

浏览 11提问于2019-05-11得票数 0

2回答

如何在tensorflow中使用带有tf.distribute.MirroredStrategy的keras.utils.Sequence数据生成器进行多gpu模型训练？

keras、tensorflow2.0、multi-gpu

我想使用TensorFlow2.0在几个GPU上训练一个模型。在分布式培训(https://www.tensorflow.org/guide/distributed_training)的tensorflow教程中，tf.data数据生成器转换为分布式数据集，如下所示： dist_dataset = mirrored_strategy.experimental_distribute_dataset(dataset) 但是，我希望使用自己的自定义数据生成器(例如，<em

浏览 35提问于2019-12-05得票数 5

回答已采纳

1回答

从异步生成器中获取可迭代生成器

generator、python-3.7、python-asyncio

我有一个异步生成器，我试图将它传递到keras fit_generator中，但是异步生成器返回一个对象，而不是生成器。我试过谷歌搜索，但我还没有找到解决方案。这似乎是一个非常具体的问题。

浏览 0提问于2019-09-08得票数 1

回答已采纳

2回答

如何用python快速加载图像？

python、numpy、neural-network、conv-neural-network、pillow

我正在做一个使用卷积神经网络(CNN)的实验。我有数据集(这个数据集有用于图像的url和每个url/图像的标签)，我被困的地方是通过url下载图像并为CNN提取像素。pixels = np.array(data["IMAGE_URL"].apply(image_from_url).tolist()) with urllib.request.urlopen(_url) as url:

浏览 0提问于2017-05-20得票数 1

2回答

我们如何使用生成器以同步方式编写异步代码？

javascript、node.js、ecmascript-harmony

我已经读过，ECMAScript 6附带的生成器已经在node.js开发版本中可用，这样就可以更容易地以同步方式编写异步代码。但是我真的很难理解，，我们如何使用生成器来编写异步代码?

浏览 2提问于2014-02-09得票数 0

1回答

如何使用fit_generator在GCP上训练Keras模型

tensorflow、machine-learning、keras、google-cloud-platform

我有一个用Keras开发的ML模型，我可以通过调用它的fit_generator并为它提供我的自定义生成器来在本地训练它。现在我想使用GCP来训练这个模型。我一直在关注this article，它向我展示了如何在GCP上训练一个Keras模型，但它没有说明如果我需要将所有数据加载到内存中，对其进行处理，然后通过生成器将其提供给模型，应该怎么做。

浏览 11提问于2019-10-08得票数 0

1回答

基于滑动窗口的时间卷积网络中的数据重用

keras、neural-network

一旦在一个窗口上完成了学习，下一个窗口就只是未来的一个样本。这意味着8x199值与最后一个窗口相同。是否有一种方法可以重用培训数据而不显式地将单独的窗口存储在内存中？也就是说，只要有一份录音，培训中的网络是否在培训过程中需要窗口？最好使用基于Keras的解决方案，因为到目前为止，我已经使用这个库完成了所有工作。

浏览 6提问于2020-04-17得票数 0

回答已采纳

2回答

具有产量的自定义Keras数据生成器

python、tensorflow、keras、yield

我正在尝试创建一个自定义数据生成器，并且不知道如何将yield函数与__getitem__方法中的无限循环相结合。class DataGenerator(tensorflow.keras.utils.Sequence): ###############

浏览 1提问于2019-05-10得票数 6

回答已采纳

1回答

在增强训练期间，无法在Keras* iterator.py中的断点处停止*

python、keras、data-generation

我创建了一个数据生成器类的两个实例，扩展自keras序列类，一个用于训练，另一个用于验证数据。然而，在我的源代码级别上，我只能看到验证生成器在每个时期之间重复迭代。我看不到训练发电机。在这些代码片段中，aug是一个参数字典，这些参数转到我的序列的myDataGen扩展中的一个keras ImageDataGenerator实例。因此，我可以通过浏览keras中的各种函数来收集，我编写的数据生成器填充

浏览 26提问于2021-02-11得票数 0

1回答

batch_size在TimeSeriesGenerator和model.fit batch_size中的差异

python、time-series、regression、rnn、recurrent-neural-network

我想知道batch_size集在TimeSeriesGenerator中和batch_size在model_fit中是否有区别。我为时间序列创建了一些RNN预测。我是否需要在batch_size中再次指定model.fit。如果我这样做，它会影响我的结果吗？也许是batch_sizes的乘数？？谢谢。

浏览 0提问于2022-10-29得票数 0

3回答

Keras fit with generator函数始终在主线程中执行

python、tensorflow、keras

如何制作Keras模型fit方法在主线程中执行生成器？从文档中看，设置workers=0将在主线程中执行代码。 workers。仅用于生成器或keras.utils.Sequence输入。如果为0，将在主线程上执行生成器。然而，当我这样做的时候： import tensorflow as tfmodel = tf.keras.Sequential([tf.keras.layers.

浏览 136提问于2021-02-23得票数 3

回答已采纳

1回答

关于fit_generator() / fit()和线程安全

python、multithreading、keras、multiprocessing、thread-safety

上下文def generator(data: np.array) -> (np.array, np.array的fit_generator()函数中，我想使用workers=4和use_multiprocessing=True -因此，我需要一个线程安全生成器。在堆栈溢出(如或或Keras )上的答案中，我读到了创建从Keras

浏览 0提问于2019-06-04得票数 8

回答已采纳

2回答

Keras预测不会返回芹菜任务

django、tensorflow、redis、celery、keras

下面的Keras函数(预测)在同步调用时工作。但是当从异步任务队列(芹菜)中调用时，它不起作用。Keras预测函数在异步调用时不会返回任何输出。堆栈是: Django，芹菜，Redis，Keras，TensorFlow

浏览 5提问于2017-08-02得票数 10

1回答

为什么“异步防御”协同功能不能包含任何“收益率”？

python、python-3.x

简单地说，为什么

浏览 4提问于2017-10-19得票数 1

1回答

将异步生成器聚合为元组

python、python-asyncio

在试图聚合异步生成器的结果时，如下所示： async def result_generator():我们建议允许对内部列表、set和dict理解使用异步。在等待PEP 525批准之前，我们还可以允许创建异步生成器表达式。示例：集合理解：{i异步I在agen()}<e

浏览 0提问于2018-09-11得票数 7

2回答

当一个数据集很大的时候，你会做些什么来训练所有的图像？

dataset、cnn、training

这是我用来将图像加载到numpy数组中的代码。为了运行代码，我在Windows7上使用了PyCharm最新版本。如果由于内存限制，所有的图像都不能存储在内存中，那么如何训练它们呢？

浏览 0提问于2020-08-11得票数 2

回答已采纳

1回答

用于Keras* fit_generator的python中数据生成器的混淆*

python、keras

在下面的一些问题和教程中：我还没有尝试使用__next__方法，但是无论谁得到了上述错误，都应该使用__next__方法(编辑:在丹尼尔·默勒建议的修复后工作)

浏览 0提问于2019-07-26得票数 2

回答已采纳

1回答

如何重置R中的Keras数据生成器？

r、keras、reset、prediction

当我们在Keras中处理数据生成器(用于培训或测试目的)时，有些情况下我们需要重置生成器。以下代码是使用Keras在R中使用test_generator的一个示例：test_generator<- flow_images_from_directory#predictions我想要的是

浏览 0提问于2019-05-24得票数 2

回答已采纳

6回答

Tensorflow数据适配器错误: ValueError:未能找到能够处理输入的数据适配器

python、tensorflow、keras、lstm

在运行加密货币RNN的sentdex教程脚本时，请在此处链接但是在试图训练模型时遇到了一个错误。我的tensorflow版本为2.0.0，我正在运行python3.6。当试图训练模型时，我会收到以下错误： File "C:\python36-64\lib\site-packages

浏览 1提问于2019-09-10得票数 57

回答已采纳

1回答

具有多个neg 1张量的级联输入张量

keras、tf.keras

所以，我错过了一些东西，可能是因为我在Keras方面缺乏经验。，K.ctc_batch_cost(labels, ....，num_letters*n)的张量，但是数据生成器生成shape=(?，num_letters)。附带注意:我的模型中的RNN

浏览 2提问于2019-09-29得票数 2

回答已采纳

点击加载更多