Tensorflow 2.0 - LSTM状态性和输入大小
在TensorFlow 2.0中，长短期记忆（LSTM）网络是一种特殊类型的循环神经网络（RNN），它可以学习长期依赖性。LSTM的关键概念是其“状态性”和“输入大小”。
- 状态性：在LSTM中，状态性是指网络在处理序列数据时保留的信息。LSTM有两种状态，即隐藏状态（或称为短期状态）和单元状态（或称为长期状态）。隐藏状态是网络的输出，而单元状态是网络内部的“记忆”。这两种状态在每个时间步都会更新，使得LSTM能够在处理长序列时保留重要信息。
- 输入大小：输入大小是指每个时间步输入到网络的数据的维度。例如，如果你正在处理单词序列，每个单词都表示为一个大小为N的向量，那么你的输入大小就是N。在TensorFlow中，你可以通过设置LSTM层的
input_shape参数来指定输入大小。
在TensorFlow 2.0中，你可以使用以下代码创建一个LSTM层：
lstm_layer = tf.keras.layers.LSTM(units, return_sequences=True, return_state=True)其中，units是LSTM层的输出维度（也是隐藏状态的维度），return_sequences决定是否在每个时间步返回隐藏状态，return_state决定是否在最后一个时间步返回隐藏状态和单元状态。
相关·内容
1回答
如何在Keras中用不同长度的例子训练RNN？
python、numpy、tensorflow、keras、recurrent-neural-network
我正在学习RNN，我正在使用TensorFlow/Keras。我了解普通RNN和LSTM层的基本知识，但我很难理解如何将模型与数据相匹配。
我的数据集包含几个不同大小的时间序列示例，例如：
x1 = [1, 2, 3, 4]
x2 = [3, 7]
x3 = [5, 6, 8, 9, 10, 11]
在keras文档中，它说RNN层的输入必须具有(batch_size, timesteps, input_dim)形状，因此我认为，根据上面的列表，我需要创建一个形状(3, None, 1)的输入数组。
我如何安排我的数据，使我的模型可以适应它？
浏览 5提问于2021-08-31得票数 0
回答已采纳
1回答
Tensorflow RNN序列训练
tensorflow
我正在做我的第一步学习TF和有一些困难的训练RNN。
我的玩具问题是这样的:一个两层的LSTM +密集层网络被输入原始音频数据，并且应该测试声音中是否存在一定的频率。
因此，网络应该从1到1映射浮动(音频数据序列)到浮动(预选的频率体积)。
我已经在Keras上完成了这个任务，并看到了类似的TFLearn解决方案，但我希望以一种相对高效的方式在裸Tensorflow上实现这一点。
我所做的：
lstm = rnn_cell.BasicLSTMCell(LSTM_SIZE,state_is_tuple=True,forget_bias=1.0)
lstm = rnn_cell.DropoutWr
浏览 1提问于2016-10-08得票数 1
回答已采纳
2回答
用Keras中不同长度的例子训练RNN
python、keras、rnn、training
我正试着开始学习RNN，我正在使用Keras。我理解普通RNN和LSTM层的基本前提，但是我很难理解特定的训练技术要点。
在角化酶(文件)中，它表示RNN层的输入必须具有形状(batch_size, timesteps, input_dim)。这表明所有的训练示例都有固定的序列长度，即timesteps。
但这并不特别典型，是吗？我可能想让RNN对不同长度的句子进行操作。当我在一些语料库上训练它时，我会给它一批不同长度的句子。
我想最明显的事情就是找出训练集中任何序列的最大长度，然后将其归零。但是，这是否意味着我不能在测试时做出比输入长度更大的预测呢？
这是一个关于Keras的特殊实现的问题，
浏览 0提问于2018-01-06得票数 120
1回答
Tensorflow - LSTM状态批量重用
tensorflow、lstm、recurrent-neural-network
我正在研究一个Tensorflow NN，它使用LSTM来跟踪一个参数(时间序列数据回归问题)。一批训练数据包含一个连续观测的batch_size。我想使用LSTM状态作为下一个示例的输入。所以，如果我有一批数据观察，我想把第一个观察的状态作为第二个观察的输入，以此类推。下面，我将lstm状态定义为size = batch_size的张量。我想在批处理中重用状态：
state = tf.Variable(cell.zero_states(batch_size, tf.float32), trainable=False)
cell = tf.nn.rnn_cell.BasicLSTMCell(1
浏览 5提问于2017-02-09得票数 0
2回答
Keras中LSTM的多维输入
machine-learning、neural-network、keras、recurrent-neural-network
我想了解RNN，特别是LSTM是如何使用Keras和Tensorflow处理多个输入维度的。我的意思是输入形状是(batch_size，timesteps，input_dim)，其中input_dim > 1。
我认为，如果input_dim = 1，下面的图像很好地说明了LSTM的概念。
这是否意味着如果input_dim >1，那么x不再是单个值，而是一个数组？但是如果它是这样的，那么权重也变成数组，和x+上下文一样的形状？
浏览 4提问于2017-05-01得票数 16
回答已采纳
1回答
Tensorflow LSTM-单元的输出
python、tensorflow、output、lstm
我有个关于Tensorflow LSTM-实现的问题。目前TF中有几种实现，但我使用：
cell = tf.contrib.rnn.BasicLSTMCell(n_units)
其中n_units是“平行的”LSTM-单元的数量。
为了得到我的输出，我调用：
rnn_outputs, rnn_states = tf.nn.dynamic_rnn(cell, x,
initial_state=initial_state, time_major=False)
其中(作为time_major=False) x是形状(batch_siz
浏览 2提问于2017-02-26得票数 7
1回答
具有批量大小的Tensorflow可变长度时间序列训练错误
python、tensorflow、keras、lstm
我正在尝试构建一个由7个神经元组成的网络，至少一个LSTM层，以及一个1维的输出层。我已经将我的训练数据分割成更小的块，这样我就可以更快地训练每个拓扑候选，但是我的验证数据只是一个样本(但仍然是很长的时间序列)。但是，我似乎无法与Keras通信，即time_steps长度是可变的，而只有训练数据具有非统一的批处理大小。下面是重现问题的代码：
import tensorflow as tf
import numpy as np
rnn = tf.keras.models.Sequential()
rnn.add(tf.keras.layers.Input(shape=(1, 7)))
rnn.
浏览 1提问于2021-10-01得票数 1
3回答
理解rnn.BasicLSTMCell返回的状态的维度
python、tensorflow、deep-learning、lstm、recurrent-neural-network
我正在看这个教程，他为MNIST分类编写了tensorflow代码。
以下是RNN模型：
batch_size = 128
chunk_size = 28
n_chunks = 28
rnn_size = 128
def recurrent_neural_network(x):
layer = {'weights':tf.Variable(tf.random_normal([rnn_size,n_classes])),
'biases':tf.Variable(tf.random_normal([n_classes]))}
x
浏览 5提问于2017-06-27得票数 0
回答已采纳
3回答
为什么要为tf.keras.layers.LSTM设置return_sequences=True和stateful=True？
tensorflow、keras、lstm、recurrent-neural-network
我正在学习tensorflow2.0，并遵循。在rnn示例中，我找到了以下代码：
def build_model(vocab_size, embedding_dim, rnn_units, batch_size):
model = tf.keras.Sequential([
tf.keras.layers.Embedding(vocab_size, embedding_dim,
batch_input_shape=[batch_size, None]),
tf.keras.layers.LSTM(rnn_unit
浏览 0提问于2019-03-22得票数 8
1回答
基于RNN的非线性多变量时间序列响应预测
machine-learning、time-series、lstm、prediction、recurrent-neural-network
考虑到室内和外部的气候，我试图预测墙的湿热响应。根据文献研究，我认为RNN应该是可能的，但我一直无法获得很好的准确性。
该数据集有12个输入特征(外部和内部气候数据的时间序列)和10个输出特征(湿热响应的时间序列)，两者都包含每小时10年的值。这些数据是用湿热模拟软件创建的，没有遗漏数据。
数据集特性：
数据集目标：
与大多数时间序列预测问题不同的是，我希望在每个时间步骤中预测输入功能的全部时间序列的响应，而不是预测时间序列的后续值(例如金融时间序列预测)。我一直未能找到类似的预测问题(在类似或其他领域)，因此，如果你知道一个，参考非常欢迎。
我认为RNN应该可以做到这一点，所以
浏览 2提问于2018-02-22得票数 8
回答已采纳
2回答
为什么tensorflow SimpleRNNCell的输入是3D？
python、tensorflow、keras、recurrent-neural-network
我正在测试tensorflow tf.keras.layers.SimpleRNNCell。我发现这太奇怪了。我认为RNN单元是接收先前状态a^{<t-1>}和当前数据输入x^{<t>}的单元。它将输出一个新的状态a^{<t>}和当前预测的\hat{y}^{<t>}。
因此，如果设置了batch_size，则SimpleRNNCell输入应为2d。我认为输入应该是[batch_size,feature_size]。但是，如果输入是2D，则会引发错误。以前的州也需要3D。
正确的代码如下：
batch_data = tf.ones((ba
浏览 0提问于2019-03-29得票数 2
1回答
用LSTM神经网络预测Fibonacci
python、tensorflow、keras、tensorflow2.0
新的神经网络，所以请纠正我的语法。
我试图创建一个LSTM来预测斐波纳契序列。当我运行下面的代码时，损失仍然非常高(围绕35339663592701874176)。
为什么输入的形状必须是(batch_size, timesteps, input_dim)？在我的例子中，我有100数据条目，这就是我的batch_size，而斐波纳契序列接受2输入，所以这就是input_dim，但是在这个例子中timesteps是什么呢? LSTM的units是1吗？如果我正确理解，“单位”就是LSTM中隐藏状态节点的数量。因此，理论上，在training.Would和RNN是一个适合这个问题的模型之后，这两个
浏览 0提问于2020-12-18得票数 1
回答已采纳
1回答
加两层稠密层的角点
python、tensorflow、keras
产生输出y的输入有x和u，x，u和y之间存在线性关系，即y= two +two。我试着从数据中计算出wx和wu。这是模型建造/装配的规范。
n_train = 400
n_val = 100
train_u = u[:(n_train+n_val)]
train_x = x[:(n_train+n_val)]
train_y = y[:(n_train+n_val)]
test_u = u[(n_train+n_val):]
test_x = x[(n_train+n_val):]
test_y = y[(n_train+n_va
浏览 2提问于2019-08-14得票数 1
回答已采纳
1回答
了解keras层中的形状
tensorflow、keras、deep-learning、neural-network、tensorflow2.0
我正在学习Tensorflow和Keras来实现LSTM many-to-many模型，其中输入序列的长度等于输出序列的长度。
示例代码：
输入：
voc_size = 10000
embed_dim = 64
lstm_units = 75
size_batch = 30
count_classes = 5
型号：
from tensorflow.keras.layers import ( Bidirectional, LSTM,
Dense, Embedding, TimeDistributed )
from tensorf
浏览 1提问于2021-03-29得票数 1
2回答
用于时间序列异常检测的LSTM自动编码器，拟合模型的正确方法
keras、time-series、lstm、anomaly-detection
我试图找到正确的例子，使用LSTM自动编码器来定义时间序列数据中的异常，并看到了很多例子，其中LSTM自动编码器模型中有标签，这是特征序列未来的时间步骤(对于通常使用LSTM的时间序列预测)，但我认为这种模型应该使用与特征序列相同的标签(以前的时间步骤)来训练。
例如，搜索google中的第一个链接-
1.这个函数定义了获取标签(y特性)的方法。
def create_sequences(X, **y**, time_steps=TIME_STEPS):
Xs, ys = [], []
for i in range(len(X)-time_steps):
Xs
浏览 7提问于2020-11-23得票数 1
1回答
PyTorch:用LSTM预测未来值
machine-learning、deep-learning、time-series、pytorch、lstm
我目前正在建立一个LSTM模型，用PyTorch来预测时间序列数据。我使用了延迟特性来通过前面的n步作为输入来训练网络。我将数据分成三组，即训练-验证-测试分割，并使用前两组来训练模型。我的验证函数从验证数据集中获取数据，并通过使用DataLoaders和TensorDataset类将其传递给LSTM模型来计算预测值。最初，R2值在0.85-0.95之间得到了很好的结果。
然而，对于这个验证函数是否也适合测试我的模型的性能，我有一种不安的感觉。因为该函数现在从DataLoader获取实际X值，即时间滞后特征来预测y^值，即预测目标值，而不是在下一个预测中使用预测的y^值作为特征。这种情况似乎与
浏览 2提问于2021-02-04得票数 2
回答已采纳
1回答
如何处理LSTM模型中的某些时间序列？
python、time-series、keras、lstm、recurrent-neural-network
我是一个新的keras用户，我想很容易地理解如何构建一个lstm模型。
在我的数据中，我有很多用户，它们有很多序列，如下所示：
user 1 :
X Labels
sequence 1 [ 0, 1 , 0, 1]
sequence 2 [ 0, 1 , 0, 1]
sequence 3 [ 0, 1 , 0, 1
sequence 4 ?
user 2 :
X labels
sequence 1 [ 0, 1 , 0, 1]
se
浏览 3提问于2017-06-10得票数 0
回答已采纳
2回答
Keras变量输入
tensorflow、keras
我正在研究https://www.tensorflow.org/tutorials/text/text_generation上的一个Keras示例 这个模型是这样构建的： def build_model(vocab_size, embedding_dim, rnn_units, batch_size):
model = tf.keras.Sequential([
tf.keras.layers.Embedding(vocab_size, embedding_dim,
batch_input_shape
浏览 18提问于2020-10-31得票数 1
回答已采纳
2回答
LSTM的输入与细胞数之间的关系是什么？
machine-learning、neural-network、deep-learning、lstm、rnn
我想训练一个用于时间序列预测的LSTM网络，并想了解LSTM的底层，据我所知，一个LSTM层中的细胞数可能会有所不同。然而，由于每个单元格在时间步长t处接受输入，那么单元格的数量不一定等于t吗？
例如(来自TensorFlow教程)：
t=0 t=1 t=2 t=3 t=4
[The, brown, fox, is, quick]
[The, red, fox, jumped, high]
words_in_dataset[0] = [The, The]
words_in_dataset[1] = [brown, red]
words_in_dataset[2
浏览 0提问于2018-10-16得票数 3
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
活动推荐
腾讯云开发者
