在TensorFlow中，如何将多层RNN的每一层固定到不同的GPU上？
在TensorFlow中，可以使用tf.device()函数将多层RNN的每一层固定到不同的GPU上。tf.device()函数用于指定操作所在的设备，可以接受一个字符串参数，表示设备的名称，例如"/gpu:0"表示第一个GPU设备。以下是一个示例代码：
import tensorflow as tf
# 定义多层RNN模型
def build_rnn_model():
# 定义RNN的每一层
rnn_layer1 = tf.keras.layers.SimpleRNN(64)
rnn_layer2 = tf.keras.layers.SimpleRNN(64)
# 使用tf.device()将每一层固定到不同的GPU上
with tf.device('/gpu:0'):
output1 = rnn_layer1(inputs)
with tf.device('/gpu:1'):
output2 = rnn_layer2(output1)
return output2
# 创建模型
model = build_rnn_model()在上述代码中，通过tf.device()函数将第一层RNN固定到"/gpu:0"上，将第二层RNN固定到"/gpu:1"上。这样每一层RNN就会在指定的GPU上进行计算。
需要注意的是，使用多GPU进行计算需要确保系统中有多个可用的GPU设备，并且TensorFlow版本需要支持多GPU计算。另外，还可以使用tf.distribute.Strategy实现更灵活的分布式训练和计算。
相关·内容
2回答
在TensorFlow中，如何将多层RNN的每一层固定到不同的GPU上？
tensorflow、gpu、recurrent-neural-network、lstm
我有一个由LSTM单元组成的多层RNN。我想把每一层都固定到不同的GPU上。在TensorFlow中如何做到这一点呢？import tensorflow as tf
n_outputs = 100n_steps = 20
X = tf.placeholder(tf.flo
浏览 13提问于2016-09-18得票数 0
1回答
为什么要在TensorFlow中使用state_saving_rnn()函数？
out-of-memory、tensorflow、recurrent-neural-network
TensorFlow提供了以下函数来创建RNN：rnn()、dynamic_rnn()、state_saving_rnn()和bidirectional_rnn()。我想知道您什么时候会想要使用state_saving_rnn()函数？
我猜这是针对大型RNN的。当通过时间展开时，您实际上获得了一个潜在的非常深的网络，如果每一层都有许多参数，<e
浏览 7提问于2016-09-15得票数 0
1回答
在神经网络训练的背景下，GPU的利用是如何工作的？
amazon-ec2、neural-network、nvidia、pytorch、tensor
我使用的是一个AWS 实例和 (DLAMI)。此实例有一个 (640个张量核和5120个CUDA核)。当我运行木星笔记本时，我注意到只使用了25%的GPU。我使用以下命令watch -n 1 nvidia-smi监视GPU的使用情况。
我的问题是，是什么决定GPU的使用？或者，为什么GPU的使用率不是100%？这个问题背后的原因不仅与代码造成的低效率有关，还与成本
浏览 0提问于2018-05-03得票数 0
回答已采纳
4回答
rnn/multi_rnn_cell/cell_0/basic_lstm_cell/kernel :尝试共享变量ValueError
tensorflow、deep-learning、lstm
batch_size, seq_len_1, 1], name='X')m_rnn_cell = tf.contrib.rnn.MultiRNNCell([rnn_cell] * 3, state_is_tuple=True)
pre_
浏览 5提问于2017-06-18得票数 20
回答已采纳
1回答
多层bidirectional_dynamic_rnn:与MultiRNNCell不兼容？
python、machine-learning、tensorflow
我想在Tensorflow中创建一个多层双向LSTM。为了将其转换为多层结构，我想我不能简单地将一些LSTMCell与MultiRNNCell包装成这样：
multi_cell_fw = tf.contrib.rnn.MultiRNNCell([cell_fw并将它们输入到bidirectional_dynamic_rnn中，因为每个层的前向和后向都需要前一层的正向和后向的输出。目
浏览 0提问于2017-03-08得票数 5
1回答
在tensorflow中创建多层递归神经网络
tensorflow、recurrent-neural-network、lstm、gated-recurrent-unit
我正在尝试在tensorflow中创建一个具有GRU单元(也可以是LSTM单元)的多层递归神经网络。我已经查看了多个来源，包括官方教程。但我一直看到多层RNN的以下模式(这里显示的是GRU单元)。我对[cell] * num_layers的理解是，同一个对象cell在列表中被引用了num_layer次。那么，MultiRNNCell不会创建一个深度网络，其中每一层
浏览 1提问于2016-08-30得票数 3
1回答
如何在CPU和GPU上同时运行Keras？
tensorflow、parallel-processing、keras、recurrent-neural-network、convolutional-neural-network
我正在训练一个由CNN和RNN组成的模型，输入到不同的输入，输出将被输入到FCN。现在的问题是：with tf.device('/cpu:0'):with tf.device('/<em
浏览 0提问于2018-05-29得票数 0
回答已采纳
2回答
TensorFlow中序列到序列模型的分布式(多设备)实现？
gpgpu、tensorflow、multi-gpu、lstm、recurrent-neural-network
是一个非常好的教程，在TensorFlow中训练序列到序列模型.我只想知道是否有一个分布式版本的，它利用(一组GPU)在单机上获得更好的性能？已经提到，可以训练一个大型的多层递归神经网络(参见图8和“模型并行训练”部分)。有谁知道目前的教程是否涵盖模型并行培训？如果没有，如何改进最初的教程来利用一组GPU？
浏览 2提问于2016-03-03得票数 2
回答已采纳
1回答
GPU上缓存tensorflow结果
python、tensorflow
使用tensorflow，如何将session.run(some_tensors,...)的结果保存在GPU上，然后再次使用它为feed_dicts提供信息？编辑:这是我为什么需要这个的一个具体例子。所以我有数据(多维张量)，多个RNN在上面运行。但是数据是如此巨大，以至于我无法在GPU上处理一个样本。因此，我将样本分成几个部分，并通过RNN运行它们。但这意味着我需要在处理第一部分之后保存R
浏览 1提问于2017-04-06得票数 0
回答已采纳
1回答
gpu上的tensorflow 2.0自定义层
python、tensorflow、keras
TensorFlow中完全自定义的层会自动在GPU上运行吗？我注意到在这个文档()中，RNN似乎不会使用CudNN？这意味着它不会在GPU上运行，对吧？
浏览 6提问于2020-04-25得票数 0
回答已采纳
2回答
CuDNNLSTM:未能调用ThenRnnForward
tensorflow、keras、google-cloud-platform、gpu、lstm
这是我正在犯的错误：
未能使用模型配置: rnn_mode、rnn_input_mode、rnn_direction_mode: 2、0、0、num_layers、input_size、num_units][{节点丢失/mul/_75}}= _Recvclient_terminated=false，send_device="/job:localhost/replica:0/task:0/device:GPUloss/mul&
浏览 1提问于2018-12-29得票数 20
回答已采纳
1回答
基于LSTM网络的GPU上的Keras慢速
python、machine-learning、tensorflow、deep-learning、keras
我在用角星训练我的模特。当我比较GPU和CPU的性能时。CPU版本比GPU版本快得多。tensorflow.python.framework.errors_impl.InvalidArgumentError: Cannot assignGPU CPU Stack: GPU
浏览 1提问于2017-05-03得票数 6
1回答
tensorflow 1.5版的性能问题
performance、tensorflow
但我注意到，培训绩效已经显着下降，通常从30%下降到130%。我的模型的培训时间从大约1个小时增加到2个多小时。GPU负载也下降了约50%。
我想知道是什么导致了性能下降？我怎样才能解决这个问题。我的系统配置是:Windows7；x64；AMD；GTX-1070/8 8GB，python 3.5.2。
浏览 1提问于2018-01-29得票数 1
1回答
如何在tensorflow 2.x中应用等效的LSTM？
python、tensorflow、deep-learning、tensorflow2.0
我用TensorFlow编写了tf.contrib层的递归神经网络。我首先创建了LSTM单元类型，并通过将此单元传递到另一层来提取输出和状态。但在TensorFlow 2.x中，它似乎可以在一行中完成 output, state_h, state_c = layers.LSTM(self.args.embedding_size, return_state1.x中那样应用dropout warpper。如何将以下代码转
浏览 28提问于2020-07-23得票数 2
1回答
Tensorflow上的训练更改输入大小RNN
python、numpy、tensorflow、machine-learning、rnn
我想用句子X的不同输入大小训练一个RNN，不需要填充。用于此的逻辑是，我使用全局变量，并且对于每一步，我采取一个示例，编写正向传播，即构建图，运行优化器，然后用另一个示例再次重复该步骤。numpy实现需要几秒钟，而Tensorflow则非常慢。在GPU上运行同样的东西是否有用，或者我正在做一些逻辑上的错误？
浏览 0提问于2018-04-17得票数 0
1回答
TensorFlow中内存不足的RNN模型
tensorflow
我使用rnn.rnn助手在TensorFlow中实现了序列序列模型。with tf.variable_scope("rnn") as scope, tf.device("/gpu:0"):该模型在为LSTM单元分配梯度时，在一个内存为16 GB的</em
浏览 2提问于2016-03-21得票数 2
回答已采纳
1回答
修改Tensorflow (Keras)优化器(用于分层学习速率乘数)
python、tensorflow、keras
我正在尝试在tensorflow (keras)中训练CNN，每一层的学习速率不同。由于这个选项没有包含在tensorflow中，所以我试图修改一个已经存在的优化器，就像这个中建议的那样。当我简单地复制我在其中找到的SGD优化器的源代码时
"C:\Users\user\Anaconda3\envs\tf_gpu\Lib\site-pa
浏览 1提问于2020-01-23得票数 1
2回答
如何在LSTM中实现Tensorflow批量规范化
python、tensorflow、neural-network、lstm、rnn
我当前的LSTM网络如下所示。rnn_cell = tf.contrib.rnn.BasicRNNCell(num_units=CELL_SIZE)outputs, final_s = tf.nn.dynamic_rnn(
rnn_cell,
浏览 0提问于2017-10-25得票数 19
2回答
基于神经网络库的不同GPU性能比较基准
performance、library、gpu
我正在寻找基于神经网络库的基准(Theano/TensorFlow/Torch/Caffe/…)比较不同GPU之间的性能。我知道：https://github.com/jcjohnson/neural-style#speed (CNN在
浏览 0提问于2016-10-05得票数 1
回答已采纳
1回答
在GPU上训练RNN -我应该使用哪个tf.keras层？
python、tensorflow、keras、tf.keras
我正在训练RNN，这是我使用tf.keras.layers.GRU层构建的。他们需要很长时间来训练(>2个小时)，所以我将把他们部署到GPU进行训练。我想知道一些关于GPU训练的事情：
这两层
浏览 1提问于2019-08-05得票数 1
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
活动推荐
腾讯云开发者
