Tensorflow中LSTM层的门权重顺序
TensorFlow中LSTM（Long Short-Term Memory）层的门权重顺序是输入门（input gate）、遗忘门（forget gate）、输出门（output gate）。
LSTM是一种特殊的循环神经网络（RNN），用于处理序列数据，具有记忆能力和长期依赖性建模能力。LSTM通过门控机制来控制信息的流动，其中门权重决定了信息的流动程度。
- 输入门（input gate）：输入门控制着新输入信息对于细胞状态的更新程度。它通过对输入数据进行sigmoid激活后的结果来决定是否将新的信息添加到细胞状态中。输入门权重顺序决定了输入门的计算顺序。
- 遗忘门（forget gate）：遗忘门决定了细胞状态中哪些信息应该被遗忘。它通过对输入数据进行sigmoid激活后的结果来决定细胞状态中的信息保留程度。遗忘门权重顺序决定了遗忘门的计算顺序。
- 输出门（output gate）：输出门决定了细胞状态中的哪些信息应该输出到下一层或作为最终的输出。它通过对输入数据进行sigmoid激活后的结果来决定细胞状态中的信息输出程度。输出门权重顺序决定了输出门的计算顺序。
LSTM层的门权重顺序对于模型的性能和效果有一定影响。不同的门权重顺序可能导致不同的信息流动方式，从而影响模型的记忆能力和长期依赖性建模能力。
在腾讯云的产品中，与LSTM相关的是腾讯云AI Lab推出的AI开发平台“MindSpore”。MindSpore是一种全场景、全流程的AI开发平台，支持LSTM等多种神经网络模型的开发和训练。您可以通过以下链接了解更多关于MindSpore的信息：腾讯云MindSpore产品介绍。
相关·内容
1回答
此函数如何以编程方式构建LSTM
tensorflow、neural-network、lstm、recurrent-neural-network
代码如下：
def lstm(o, i, state):
#these are all calculated seperately, no overlap until....
#(input * input weights) + (output * weights for previous output) + bias
input_gate = tf.sigmoid(tf.matmul(i, w_ii) + tf.matmul(o,w_io) + b_i)
#(input * forget weights) + (output * weights for p
浏览 4提问于2017-07-15得票数 1
1回答
如何从训练lstm单元中读取每个特征的权重
tensorflow
我在TF 1.1.0上使用了几个时间序列作为特征(3个特征作为输入)到LSTM模型(1个回归输出)中。main函数启动一个会话，如下所示：
model = SKCompat(learn.Estimator(model_fn=lstm_model,
model_dir=LOG_DIR,
params={'learning_rate': Learning_rate}))
model.fit(trainX, trainY, steps=steps)
lstm_model的功能主要有：
lstm_cell = tf.contri
浏览 2提问于2017-05-13得票数 0
1回答
Tensorflow中LSTM层的门权重顺序
tensorflow、keras、lstm、tensorflow2.0、keras-layer
我有一个包含一些LSTM层的Keras模型。我知道我可以通过get_weights()方法获得LSTM层的权重，结果是一个由三个元素组成的列表:内核、递归核和偏差。 正如文档所述，每个元素都包含LSTM层中4个门的权重。但是，它并没有说明它们的存储顺序。例如，如果LSTM层有N个单元，则偏置向量将由4*N个元素组成。这些元素中的哪些对应于1/2/3/4门？
浏览 41提问于2021-08-19得票数 1
回答已采纳
1回答
LSTM门的结构
neural-network、lstm、rnn
我的印象是，单层LSTM体系结构由相同重复的t LSTM单元组成，其中t是时间步长的数目。然后在LSTM牢房里有门。我一直在努力寻找一个严格的解释，每个“门”实际上是由什么组成。每个门仅仅是一个前馈神经网络，它的输出要么是通过sigmoid压缩的，要么是tanh的，取决于它是哪个门？
谢谢
浏览 0提问于2019-10-31得票数 3
回答已采纳
2回答
如何解释Keras中LSTM层的权重
python、keras、neural-network、lstm
我目前正在训练一个用于天气预报的递归神经网络，使用LSTM层。网络本身非常简单，大致如下所示：
model = Sequential()
model.add(LSTM(hidden_neurons, input_shape=(time_steps, feature_count), return_sequences=False))
model.add(Dense(feature_count))
model.add(Activation("linear"))
LSTM层的重量确实有以下形状：
for weight in model.get_weights(): #
浏览 0提问于2017-03-17得票数 20
1回答
如何计算LSTM RNN遗忘门？
deep-learning、lstm
据我所知，LSTM递归神经网络有一个遗忘门、输入门和输出门。
然而，我不明白下面的公式是如何计算“忘记”信息的(来自Chris的LSTM员额)
📷
这个遗忘门如何决定从前一个单元状态中丢弃哪些信息？换句话说，什么是被遗忘的或者没有被遗忘的。
在我看来，这个等式只是从当前状态取x_t，从前一个状态取h_{t-1}。
有人能解释这个方程是如何作为一个遗忘门来保持或丢弃细胞状态的吗？
浏览 0提问于2018-05-27得票数 3
2回答
NLP递归神经网络中的层理解
deep-learning、nlp、lstm、rnn
在卷积神经网络中，我们有这样一个概念:内部层学习线条和边缘等精细特征，而外层层学习更复杂的形状。
我们是否对RNN(如LSTM )中的层有这样的理解，比如内部层理解语法，而外层层在假设我们使用LSTM来完成一些自然语言任务(如文本摘要)时，理解句子的更完整的含义？
浏览 0提问于2019-06-17得票数 0
1回答
在单个LSTM单元中隐藏的单元是什么？
machine-learning、neural-network、lstm、recurrent-neural-network
我对神经网络很陌生，并在单个LSTM细胞中发现了“隐藏单元”的概念。我理解有“门”(输入/输出/遗忘等)的概念，但是隐藏的单位是什么？我还了解到，这与每个层中未滚动的LSTM单元的数量不同(这等于时间步骤的数量)。
浏览 1提问于2016-05-06得票数 8
2回答
LSTM层间的激活函数
machine-learning、python、deep-learning、keras、lstm
我知道LSTM单元内部同时使用sigmoid和tanh激活函数，但是当创建一个堆叠的LSTM体系结构时，通过激活函数(例如ReLU)传递它们的输出是否有意义？
那么，我们是否更喜欢这样：
model = LSTM(100, activation="relu", return_sequences=True, input_shape(timesteps, n_features))
model = LSTM(50, activation="relu", return_sequences=True)(model)
...
为了这个？
model = LSTM(100,
浏览 0提问于2020-01-16得票数 13
回答已采纳
1回答
语言模型与分类间的迁移学习
classification、nlp、transfer-learning、language-model
继这个fast.ai 讲课之后，我试图理解NLP中学习从一个通用语言模型(LM)转移到一个分类问题的机制。
什么是从语言模型的培训中获得的？仅仅是嵌入这个词吗？或者也是LSTM细胞的重量？神经网络的结构应该是完全不同的--在LM中，您将在每个序列步骤之后输出一个预测--在分类问题中，您只关心最终序列步骤的输出。
(我很乐意知道什么是普遍做法，如果有人知道fast.ai是如何做到的)
浏览 0提问于2019-11-25得票数 1
4回答
了解回归用LSTM的输出
neural-network、regression、lstm、rnn、word-embeddings
我正在研究嵌入，并想看看预测一些附加在一些单词序列上的分数是多么的可行。分数的细节并不重要。
Input (tokenized sentence): ('the', 'dog', 'ate', 'the', 'apple')
Output (float): 0.25
我一直在跟踪本教程，它试图预测这类输入的部分语音标记。在这种情况下，系统的输出是序列中所有标记的所有可能标记的分布，例如对于三个可能的POS类{'DET': 0, 'NN': 1, 'V': 2}，(&#
浏览 0提问于2019-02-13得票数 5
回答已采纳
3回答
什么是递归神经网络，什么是长短期记忆(LSTM)网络，它总是更好吗？
machine-learning、neural-network、sequence、lstm
首先，让我为在标题中塞进三个问题而道歉。我不确定还有什么更好的方法。
我就直奔主题吧。我想我对前馈神经网络非常了解。
但LSTM真的让我摸不着头脑，我觉得这可能是因为我对递归神经网络总体上没有很好的掌握。我已经看过了Hinton和Andrew Ng在Coursera上的课程。很多东西对我来说还是没有意义。
据我所知，递归神经网络与前馈神经网络的不同之处在于，过去的值会影响下一个预测。递归神经网络通常用于序列。
我看到的递归神经网络的例子是二进制加法。
010
+ 011
递归神经网络会先取最右边的0和1，输出1。然后取1,1，输出0，并进位1。取下一个0,0，输出1，因为它携带上次
浏览 1提问于2014-07-23得票数 7
1回答
使LSTM单元可训练
tensorflow、lstm、recurrent-neural-network、tensorflow-serving
我使用tf.contrib.rnn.MultiRNNCell模块来建立一个多层次的神经网络.我使用以下行来定义一个3层RNN网络：
n_hidden = 2
num_layers = 3
lstm_cell = tf.contrib.rnn.BasicLSTMCell(n_hidden)
stacked_lstm_cell = tf.contrib.rnn.MultiRNNCell([lstm_cell] * num_layers)
然而，在我的头脑中有一些关于坦索弗洛实际发生的事情的不确定性。据我所知，这段代码给了我一个计算图，其中有3层LSTM单元，每个层有2个LSTM单元
浏览 4提问于2017-09-07得票数 2
回答已采纳
1回答
LSTM单元是如何合并空间或顺序信息的？
neural-network、keras、lstm、recurrent-neural-network、sequential
据我所知，LSTM单元是按顺序链接的，每个单元都有一个输出，每个LSTM单元将一个输出传递给链中的下一个LSTM单元。
但是，你不把你的全部投入到每个LSTM单元中吗？我看不出这条链是如何反映顺序顺序重要的数据结构的。
有人能解释我哪里出了问题吗？我对在keras中实现的lstm版本特别感兴趣，但是每个答案都非常欢迎！
浏览 4提问于2017-07-03得票数 1
回答已采纳
1回答
Tensorflow LSTM门重
python、tensorflow、neural-network、lstm
你好，我有个关于Tensorflow的问题。我已经训练了一些LSTM模型，我可以访问突触连接的权重和偏差，但是我似乎无法访问LSTM单元的输入、新输入、输出和忘记门权重。我可以将门张量取出来，但是当我在会话中尝试.eval()时，就会出现错误。我在我的网络中使用在tensorflow/python/ops/rnn_cell.py中找到的类BasicLSTMCell。
`
class BasicLSTMCell(RNNCell):
"""Basic LSTM recurrent network cell.
The implementation is based
浏览 1提问于2017-03-08得票数 3
1回答
将TensorFlow LSTM转换为突触
machine-learning、neural-network、tensorflow、lstm、tensorboard
我正致力于在已经训练过的TensorFlow basic LSTM和可以在浏览器中运行的javascript版本之间实现一个接口。问题在于，在我所读过的所有文献中，LSTMs都被建模为微型网络(仅使用连接、节点和门)，而TensorFlow似乎有更多的功能。
我有两个问题：
TensorFlow模型能很容易地转化为一种更传统的神经网络结构吗？
是否有一种实用的方法来映射TensorFlow提供给您的可训练变量到此结构？
我可以从TensorFlow中得到“可训练变量”，问题是它们似乎每个LSTM节点的偏差只有一个值，我看到的大多数模型都包括内存单元、输入和输出的几个偏差。
浏览 2提问于2015-12-17得票数 9
回答已采纳
1回答
如何在Keras/TensorFlow中可视化RNN/LSTM权重？
python、tensorflow、keras、visualization、recurrent-neural-network
我遇到了一些研究出版物，Q&A正在讨论检查RNN权重的必要性；一些相关的答案是正确的，建议使用get_weights() --但是我是如何有意义地想象这些权重的呢？也就是说，LSTM和GRUs有门，所有RNN都有作为独立特征提取器的通道--那么I (1)每门权重以及(2)如何以一种信息的方式绘制它们呢？
浏览 2提问于2019-12-10得票数 3
回答已采纳
1回答
光学字符识别系统中的LSTM应该把先前的预测序列放在哪里？
ocr、lstm
我正在尝试建立一个光学字符识别系统，它可以使用LSTM单元识别手写句子。
现在，我从文献中了解到，你需要给LSTM细胞提供两个输入:一个是你试图识别的图像，另一个是它已经预测的单词序列。因此，例如，如果我有一幅读着“我喜欢机器学习”的图像，我会创建以下几对输入：
图像+ startseq
图像+ startseq +i
形象+起点+我+爱
因此，对于每个输入，您希望LSTM预测下一个单词，即I，爱，机器为上述序列。
我遇到的问题是，我不知道如何将图像和前面的序列输入到LSTM单元中。我是否将我的图像(二维矩阵)划分成行/列向量，并将它们一次发送到LSTM，然后在我发送完之前
浏览 0提问于2018-07-16得票数 0
回答已采纳
1回答
LSTM的时间反向传播(BPTT)
tensorflow、backpropagation、lstm
目前，我正试图理解TensorFlow中的LSTM的BPTT。我得到参数"num_steps“用于RNN展开和错误反向传播的范围。我有一个一般性的问题，这是如何运作的。
以供参考，重新计算公式。我指的是： ()
问题：，哪些路径被反向传播了那么多步骤？恒等误差旋转木马由公式5创建，反传播(s(t)->s(t-1))的导数对于所有时间步骤都是1。这就是为什么LSTM捕获远程依赖项的原因。我混淆了h(t-1)的g(t)，i(t)，f(t)和o(t)的依赖关系。换句话说:当前的门不仅取决于输入，还取决于最后的隐藏状态。
这种依赖不是再次导致爆发/消失梯度问题吗？
如果我沿着这些连接反向
浏览 4提问于2016-11-29得票数 1
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频活动推荐
腾讯云开发者
