LSTM解码器中的Start Token

文章/答案/技术大牛

发布

1回答

seq2seq模型中双向LSTM的状态理解(tf角)

tensorflow、keras、lstm、bidirectional、seq2seq

我正在创建一个语言模型:一个包含2个双向LSTM层的seq2seq模型。我已经训练了这个模型，而且它的精度似乎很好，但是当我坚持想出推理模型的时候，我发现自己被每个LSTM层返回的状态弄糊涂了。我正在使用本教程作为指南，尽管这个链接中的示例不是使用双向层：。注意:我使用的是预先训练过的单词嵌入。我希望编码器将enc_state_h_fwd和enc_state_c_fwd转发给解码器。此连接由橙色箭

浏览 9提问于2022-08-22得票数 0

回答已采纳

1回答

tensorflow、keras、lstm、mencoder

我了解编码器-解码器模型，以及编码器的输出将如何成为解码器的输入。假设这里我只有解码器模型，我有解码器initial_state (也就是给出了decoder_states_inputs )。我想让"decoder_inputs“作为开始令牌(例如< start > )...但是我不知道怎么做，以什么格式？！decoder_lstm = LSTM(n_units, return_sequences=True, r

浏览 133提问于2019-01-14得票数 0

回答已采纳

2回答

Keras seq2seq堆叠层

keras、seq2seq、multi-layer

在tutorial：中，我们有一层seq2seq模型。我想在编码端和解码器端各增加一个层来扩展这个模型。训练似乎起作用了，但是我不能让解码器在多层的推理中正确设置。以下是我对教程中提到的模型所做的更改。, state_h, state_c = encoder2(x)encoder_states = [state_h, state_c] model = Model

浏览 3提问于2018-09-23得票数 2

1回答

ValueError:尺寸必须相等，但为512和256个

python、tensorflow、deep-learning、lstm、rnn

我正在尝试使用Tensorflow 1.3.0实现文本摘要的seq2seq模型。在构建图表时，我得到了下面的错误。512 and 256 for 'decoding/decoder/while/BasicDecoderStep/decoder/multi_rnn_cell/cell_0/cell_0/basic_lst

浏览 1提问于2017-09-02得票数 1

回答已采纳

1回答

在seq2seq模型中使用双向解码器时如何进行推断？

keras

),name='encoder_lstm') decoded_sentence = '' states_value = decoder_sta

浏览 0提问于2018-03-12得票数 0

1回答

有没有可能用keras做更长的输出长度？

keras、forecasting、rnn

我想预测一些与空间天气相关的指标(kp，Dst等)。使用RNN或LSTM。建立多对一模型是可能的，尽管它显示出较低的准确性。然而，我的目标是通过过去3天的观察来预测未来的7天。问题是，是否有可能在功能上构建具有更长输出长度(或时间步长)的RNN？而不是输入？任何帮助都将不胜感激！请帮帮我。

浏览 13提问于2018-08-16得票数 1

回答已采纳

1回答

如何在函数API中实现双向包装器？

python、tensorflow、keras、tensorflow2.0

双向层是否将编码器与解码器或解码器与解码器连接。这是编码器的三个部分，提供给下面的解码器。, h1, c1 = LSTM(256, return_state = True, return_sequences = True)(input_ctx_embed) encoder_lstm2,h2,c2 = LSTM(256, return_state = True, return_sequences = True)(encoder_lstm

浏览 3提问于2020-05-26得票数 0

回答已采纳

1回答

LSTM(512)与LSTMCELL(512)的差异

python、tensorflow、keras、encoder-decoder

检查了源代码，但仍然难以找到tf.keras.layers.LSTM(512)和tf.keras.layers.LSTMCell(512)之间的区别。在许多编码器-解码器的文章中，在编码器处使用LSTM(512)，在解码器处使用LSTMCell(512)。谢谢!

浏览 11提问于2022-06-04得票数 0

2回答

基于Keras的LSTM多层Seq2Seq模型

tensorflow、keras、lstm、seq2seq、encoder-decoder

我已经构建了单层编码器和解码器，它们工作得很好。但现在我想把它扩展到多层编码器和解码器。我正在使用Keras Functional API构建它。)解码器代码：-decoder_input在解码器中的层训练，那么训练工作很好，但测试它不工作，并抛出错误。实际上，问题是当我把它变成多层时，我把init

浏览 5提问于2018-06-19得票数 13

1回答

强化学习--如何处理做数近似的不同数量的动作

machine-learning、neural-network、lstm、rnn、reinforcement-learning

我是一个加强学习的新手，但我试图在这个任务中使用RL：现在，为了实现这一点，我将遍历树中通向块的一条路径，并注意路径中的任何数据更改和决策块。动作执行后，移动到树中的</

浏览 0提问于2018-09-24得票数 0

1回答

如何将双向LSTM状态传递到较早的LSTM层？

python、tensorflow、keras、lstm

我正在尝试使用编码器LSTM和解码器LSTM创建seq2seq模型，这两个模型都使用Bidirectional层。我可以将隐藏状态和存储单元向前传递给解码器LSTM，但我看不出如何将值从解码器传回编码器。LSTM层的initial_state。但是如果我用Bidirectional层包装这个Dec_LSTM1层，它就不会像我传递initial_state值那样中断。我认为我不需要来自编码器LSTM层的</e

浏览 1提问于2021-02-23得票数 1

2回答

RepeatVector是做什么的？批处理学习对预测输出的影响是什么？

python、keras-layer、autoencoder、seq2seq

model = Sequential()model.add(LSTM(32, activation='relu', input_shape =(timesteps,n_features ), return_sequences=True))# Decoder model.add(LST

浏览 30提问于2019-10-07得票数 4

回答已采纳

1回答

长时间LSTM预测

python、machine-learning、pytorch、lstm

我正在使用一个LSTM，以5个序列作为输入来预测另一个5个，我想知道如何预测超过5个时间步骤。我想这和hidden_dim有关，但我想不出来。这是我的密码 def __init__(self, seq_len=5, n_features=256, n_hidden=256, n_layers= seq_len self.n_layers = n_layers self.l_

浏览 3提问于2020-11-11得票数 0

回答已采纳

1回答

如何将单元状态从一个Tensorflow LSTM传递到另一个？

python、tensorflow、lstm

我正在用编码器/解码器模式编写一个德语->英语翻译器，其中编码器通过将其最后一个LSTM层的状态输出作为解码器LSTM的initial_state来连接到解码器。下面是代码的草图：lstm_1 = tf.keras.layers.LSTM( units = 3, return_sequences_1:\n

浏览 4提问于2021-06-14得票数 0

1回答

在加载模型中将return_state=True设置为LSTM层

tensorflow、keras

我训练了一个编解码器模型，并将其保存到一个文件中，但结果发现我忘记了将解码器的LSTM层上的return_state标志设置为true。现在我无法实现推理。是否可以在构造函数之外为LSTM设置return_state标志？

浏览 0提问于2019-05-08得票数 0

回答已采纳

2回答

为什么seq2seq模型优于简单的LSTM？

machine-learning、deep-learning、transformer

在深度学习领域，众所周知，最强大的递归体系结构是序列到序列，或seq2seq，用于几乎任何任务(对时间序列的预测、机器翻译、文本生成)。为什么？LSTM编解码结构的性能优于更规范的RNN的基本数学原因是什么？它是在产生密集的潜在表征吗？是关于相对较高的参数数吗？任何暗示都是感激的。

浏览 0提问于2019-11-29得票数 1

2回答

编解码模型中双向LSTM的数量是否等于输入文本/字符的最大长度？

lstm、word-embeddings、nlp、rnn、attention-mechanism

当我试图了解seq2seq编解码器如何在https://machinelearningmastery.com/configure-encoder-decoder-model-neural-machine-translation在我看来，编码器中的LSTM数量必须与文本中的单词数(如果使用单词嵌入)或文本中的字符(如果使用char嵌入)相同。对于字符嵌入，每个嵌入对应于1个方向的LSTM和

浏览 0提问于2020-05-20得票数 0

1回答

ValueError:层lstm_17的输入0与层不兼容:需要的ndim=3，找到的ndim=2。收到的完整形状：[None，128]

python、keras、runtime-error、google-colaboratory、tf.keras

代码如下： from tensorflow.keras.models import Sequential Embedding(vocab_size, 256, input_length=49), LSTM(128, return_sequen

浏览 140提问于2020-10-06得票数 1

回答已采纳

1回答

Tensorflow LSTM返回什么？

python、tensorflow、lstm

我正在用编码器/解码器模式编写一个德语->英语翻译器，其中编码器通过将其最后一个LSTM层的状态输出作为解码器LSTM的输入状态来连接到解码器。但是，我被卡住了，因为我不知道如何解释编码器的LSTM输出。一个小例子：lstm = tf.keras.layers.LSTM(units=4,

浏览 6提问于2021-06-14得票数 0

回答已采纳

1回答

Keras如何在编码器解码器LSTM中初始化解码器第一状态？

python、tensorflow、lstm、keras-layer、encoder-decoder

我的理解是，在编码器解码器LSTM中，解码器的第一状态与编码器的最终状态相同(包括隐藏状态和单元状态)。但我没有看到下面的代码(取自许多Keras教程)中显式编写的代码。model.add(LSTM(units, input_shape=(n_input, n_features),dropout=rdo, activation = keras.layers.LeakyReLU(alpha=0.2))) model.a

浏览 6提问于2022-09-13得票数 0

点击加载更多

seq2seq模型中双向LSTM的状态理解(tf角)