使用多个配置启动多个训练会导致内存不足(Keras)

文章/答案/技术大牛

发布

1回答

python、tensorflow、keras

我想训练一个具有几种配置的模型(大约100种不同的情况)。我的主要算法是在一个主.py文件上，我想要启动100次。这个.py文件运行良好，如果我执行一次，一切都会正常进行。问题是，在第二次训练期间的某个随机时间，我有一个ResourceExhaustedError。predictions_16/random_uniform/RandomUniform (defined at /home/acarlier/venv/local/lib/pytho

浏览 16提问于2019-03-18得票数 0

回答已采纳

1回答

在tf会话中运行Keras Sequential模型

tensorflow、keras

给定一个Keras顺序模型(特别是2层LSTM)：我们如何在tf会话中运行它？我必须在单个脚本中多次训练模型，并且很快就会耗尽内存。在tf会话中运行它是正确的解决方案吗？如果不是，那是什么？

浏览 0提问于2018-04-15得票数 2

1回答

在执行多次运行时，如何使用Keras保留时代号？

python、tensorflow、keras、tensorboard

对于Keras模型，我已经包含了TensorBoard回调，以生成日志文件，以便稍后可视化。问题是，如果我多次训练我的模型，它会生成多个日志文件，并且步骤号总是重新启动到0，而不是在上一次运行的最后一步继续。但是，我如何使用Keras来做到这一点呢？

浏览 2提问于2018-05-01得票数 5

回答已采纳

1回答

Tomcat运行时war部署错误

java、tomcat

java.lang.OutOfMemoryError: PermGen space 当部署多个war文件运行时出现tomcat permGen内存不足错误时，停止tomcat并部署并重新启动该时间错误而不是coming.what是导致此错误的实际原因。是否存在tomcat配置问题。

浏览 1提问于2014-08-12得票数 0

1回答

Tensorflow / keras multi_gpu_model不分裂为多个gpu

python、tensorflow、keras、multi-gpu

我遇到的问题是，我不能成功地把我的训练批次分成多个GPU。如果使用来自multi_gpu_model的tensorflow.keras.utils，则tensorflow将在所有可用的gpu(例如2)上分配全部内存，但如果监视nvidia，则只使用第一个gpufrom tensorflow.keras.utils import multi_gpu_model parallel_model注意:第二个gp

浏览 0提问于2019-03-06得票数 0

1回答

tf和tf.keras密集层在我的设置中表现出完全不同的行为

python、tensorflow、keras、tf.keras

在使用tensorflow 1.14时，我注意到在使用tf.layers.Dense和tf.keras.layers.Dense时出现了一些非常奇怪的行为。Stackoverflow上的人说这两层完全相同，我基本上同意，但在培训AC代理时查看折扣奖励会产生以下图表： ? 这些论点是完全相同的。重复运行会导致相同的结果(请参阅图像中不同颜色的数据)。就我对代码的理解而言，其中一层是从另一层继承而来的：tf.keras.layers.core和tf.layers.core。

浏览 17提问于2019-09-25得票数 1

回答已采纳

1回答

是否可以在Keras中并行运行多个已保存的模型？

python、keras、neural-network

对于每个特征，我都训练了一个不同的神经网络模型，并将其保存为HDF5文件。现在我加载它们是为了进行预测，但我问自己，我是否不能并行运行它们，同时相应地显示所有功能，因为输入是相同的？

浏览 14提问于2020-03-24得票数 0

回答已采纳

1回答

如何在train_on_batch nan更新后将keras模型恢复到以前的纪元权重

python、tensorflow、keras、deep-learning、nan

我尝试在每个训练步骤后保存模型权重，然后在nan训练更新后将“良好”(非nan)权重加载回keras模型。这似乎工作得很好-在将旧的权重文件加载到模型中之后，当我打印model.get_weights()的结果时，结果权重不包含nan(并且预测使用它们也会产生非nan输出)。然而，现在当我再次尝试train_on_batch时，这一次使用了一个新的批处理，我立即再次得到了一个nan更新。我尝试了多个随机选择的批处理，每次都会进行nan更新。当nan train_on_b

浏览 15提问于2019-02-25得票数 1

回答已采纳

1回答

如何使用keras的fit生成器的多处理模式来解决写入同一文件的多进程问题？

python、python-3.x、keras、io、multiprocessing

因此，基本上，我编写了一个keras生成器，以便在培训时从web服务器下载图像。这是一次加速训练的尝试，这样训练就不必等到整个图像下载后才能开始训练。为了加快速度，我想在keras fit_generator函数上启用多处理。但是，有时keras会多次尝试下载相同的映像。这样不仅效率低下，而且当多个进程试图一次写入同一个文件时，程序也会崩溃。当多处理为假时，即使是多个工作人员，也不会发生此问题。我想这应该是吉尔干的。

浏览 3提问于2019-07-24得票数 1

回答已采纳

1回答

MarkLogic:为什么删除应用服务器会导致集群重新启动？

marklogic

为什么删除appserver会导致集群重新启动？是否有脚本选项可以删除多个应用服务器而不触发多个重新启动？例如，我可以:打开一个事务，获取配置，运行多个admin:appserver-delete()调用，保存新配置，然后提交事务，然后只触发一次重新启动？

浏览 5提问于2017-02-21得票数 4

回答已采纳

2回答

RealmSwift列表项内存泄漏问题

ios、swift、memory-leaks、realm、realm-list

我发现在iOS中将大量数据写入Realm会导致内存不足和崩溃。经过几天的研究，我发现Realm不会释放列表中未使用的对象。realm.write { } } 在leakTest()返回后，我得到了以下内存配置文件： ? 当我试图写很多列表项，甚至分成多个足够短的列表时，这会导致内存不足。这是来自Realm的bug吗?或者我可以做些什么来解决这个问题？

浏览 39提问于2020-01-10得票数 0

回答已采纳

2回答

keras - evaluate_generator在相同的训练数据下产生不同的准确率

python、machine-learning、keras、deep-learning、word-embedding

TL；博士，我的模型是为一个时代而训练的-为了测试目的。然而，当我对evaluate_generator方法进行多次评估时，每次运行相同的训练数据时，都会得到不同的精度。使用keras和keras_contrib存储库提供的工具，我正在复制精确的模型，但我有一个问题，为什么评估会给出不同的准确率。作为参考，我将模型训练为一个时期，然后使用keras_contrib模块提供的实用工具keras_contrib将经过训练

浏览 2提问于2019-04-17得票数 1

回答已采纳

1回答

如何在多个没有GPU的设备上训练TensorFlow？

tensorflow、deep-learning、distributed-computing、distributed

我们喜欢在未配备GPU的计算机群集上训练此模型。这个集群的每个计算节点可能有一个或多个核心。有没有可能开箱即用？如果没有，那么哪些包能够做到这一点呢？这些包能够执行数据和模型并行吗？

浏览 0提问于2020-08-08得票数 1

1回答

Keras中的fit_generator --一次一小批

python、keras

因此，我使用fit_generator一次加载一个块，这样它就不必同时在内存中容纳多个小型批处理。所以..。这里发生了什么事？这是正常的，还是

浏览 1提问于2018-10-07得票数 0

1回答

使用LSTM循环不同的数据集和预测

python、keras、jupyter-notebook、lstm、recurrent-neural-network

我从事keras和LSTM的工作已经有一段时间了，但仍然是相当新的。另一种选择是逐个数据集训练和预测数据集，在每次预测完成后重新启动和运行，这将是一个非常乏味的过程。# Predict resu

浏览 15提问于2020-02-03得票数 0

1回答

如何阻止CUDA对每个子进程重新初始化，从而训练一个keras模型？

python、tensorflow、keras、multiprocessing

我正在使用CUDA/CUDNN在我的GPU上训练多个tensorflow keras模型(用于试图优化超参数的进化算法)。最初，该程序在几代人之后会出现内存不足的错误。最后，我发现对每个模型使用一个新的子进程将自动清除GPU内存。代码粘贴在下面。process.start() return (fit.valu

浏览 1提问于2020-12-11得票数 0

回答已采纳

2回答

防止在bindView中多次运行AsyncTask

java、android、android-asynctask、android-cursoradapter

我有一个自定义的CursorAdapter，它在其bindView方法中使用多个AsyncTask将图像加载到网格中。要让AsyncTask只运行一次，最好的方法是什么？

浏览 1提问于2013-04-25得票数 0

2回答

您可以使用Caffe在同一数据上训练多个网络吗？

python、neural-network、gpu、deep-learning、caffe

因此，这需要在具有不同超参数的同一数据集上训练大量模型。我正在尝试将其优化为在GPU上运行。与图像数据集相比，DNA序列数据集相当小(通常是4‘通道’中的10个或100个碱基对来表示4个DNA碱基A、C、G和T，而3个RGB通道中的像素为10,000个)，因此无法充分利用GPU上的并行化，除非同时训练多个模型

浏览 1提问于2016-02-16得票数 4

3回答

在keras中使用多个验证集

validation、keras、monitoring

我正在使用model.fit()方法训练带有keras的模型。我想使用多个验证集，在每个培训阶段之后，应该分别对其进行验证，这样我就可以得到每个验证集的一个损失值。如果可能的话，它们都应该在训练期间显示，并由keras.callbacks.History()回调返回。不然你会怎么处理这个问题？

浏览 2提问于2017-12-09得票数 24

回答已采纳

2回答

如何处理TensorFlow会话以同时训练多个Keras模型？

session、tensorflow、keras

我需要同时训练多个Keras模型。我正在使用TensorFlow后端。问题是，当我试着同时训练两个模特时，我得到了Attempting to use uninitialized value。这个错误并不是真正相关的，主要的问题似乎是Keras强迫在同一个会话中用相同的图创建两个模型，因此it冲突。我是TensorFlow的新手，但我的直觉是，答案很简单:您必须为每个Keras模型创建一个不同的会话，并在他们自己的会话中对他们进行培训。有人能解释一下怎么做吗？我真的希望能

浏览 0提问于2017-05-13得票数 8

点击加载更多