尝试构建具有注意力机制的编码器解码器，但图形结果总是断开，请您帮助我？
构建具有注意力机制的编码器解码器，但图形结果总是断开可能是由于以下几个原因导致的：
- 数据传输问题：图形结果断开可能是由于数据在传输过程中丢失或损坏导致的。可以检查网络连接是否稳定，尝试使用更可靠的传输协议或增加数据传输的容错机制。
- 编码器解码器模型问题：注意力机制的编码器解码器模型可能存在问题，导致图形结果断开。可以检查模型的实现代码，确保模型的结构和参数设置正确，并且注意力机制的实现符合预期。
- 训练数据问题：注意力机制的编码器解码器模型可能需要大量的训练数据来学习有效的表示和生成图形结果。可以检查训练数据的质量和多样性，尝试增加训练数据的数量或改进数据预处理方法。
- 超参数设置问题：注意力机制的编码器解码器模型可能依赖于一些超参数的设置，如学习率、批大小、隐藏层大小等。可以尝试调整这些超参数的取值，找到更合适的设置。
- 硬件资源问题：注意力机制的编码器解码器模型可能需要较大的计算资源来进行训练和推理。可以检查所使用的硬件资源是否足够，如GPU的内存是否充足，是否存在其他程序占用了过多的计算资源。
针对以上问题，腾讯云提供了一系列的云计算产品和解决方案，可以帮助您构建具有注意力机制的编码器解码器模型，并解决图形结果断开的问题。以下是一些相关产品和解决方案的介绍：
- 腾讯云机器学习平台（https://cloud.tencent.com/product/tiia）：提供了丰富的机器学习和深度学习工具，包括图像处理、自然语言处理等功能，可用于构建注意力机制的编码器解码器模型。
- 腾讯云GPU云服务器（https://cloud.tencent.com/product/cvm/gpu）：提供了高性能的GPU云服务器，可用于进行大规模的模型训练和推理，加速注意力机制的编码器解码器模型的计算过程。
- 腾讯云对象存储（https://cloud.tencent.com/product/cos）：提供了高可靠性、高可扩展性的对象存储服务，可用于存储和管理训练数据和模型参数。
- 腾讯云容器服务（https://cloud.tencent.com/product/tke）：提供了容器化的部署和管理平台，可用于快速部署和扩展注意力机制的编码器解码器模型。
通过使用腾讯云的相关产品和解决方案，您可以更好地构建具有注意力机制的编码器解码器模型，并解决图形结果断开的问题。
相关·内容
1回答
我正在通过的神经机器翻译使用注意机制。
它有用于解码器的下列代码：
class Decoder(tf.keras.Model):
def __init__(self, vocab_size, embedding_dim, dec_units, batch_sz):
super(Decoder, self).__init__()
self.batch_sz = batch_sz
self.dec_units = dec_units
self.embedding = tf.keras.layers.Embedding(vocab_size, embedding_
浏览 3提问于2021-02-15得票数 1
回答已采纳
1回答
解码器不接受双向编码器的输出
、、、、
我正在尝试用Tensorflow实现一个编码器解码器模型。编码器是一个双向单元。
def encoder(hidden_units, encoder_embedding, sequence_length):
forward_cell = tf.contrib.rnn.LSTMCell(hidden_units)
backward_cell = tf.contrib.rnn.LSTMCell(hidden_units)
bi_outputs, final_states = tf.nn.bidirectional_dynamic_rnn(forward_cell, bac
浏览 17提问于2020-01-29得票数 0
我正在研究tensorflow.org - 上的转换器代码
def create_masks(self, inp, tar):
# Encoder padding mask (Used in the 2nd attention block in the decoder too.)
padding_mask = create_padding_mask(inp)
# Used in the 1st attention block in the decoder.
# It is used to pad and mask future tokens in the in
浏览 19提问于2022-05-17得票数 0
我正在用Pytorch编写序列神经网络的序列。在official Pytorch seq2seq tutorial中，有一个注意力解码器的代码，我不能理解/认为可能包含错误。 它通过连接输出和此时的隐藏状态来计算每个时间步的注意力权重，然后乘以一个矩阵，得到一个大小等于输出序列长度的向量。注意，这些注意力权重不依赖于编码器序列(在代码中命名为encoder_outputs )，我认为它应该依赖于编码器序列。 此外，the paper cited in the tutorial还列出了三种不同的得分函数，可用于计算注意力权重(本文的3.1节)。这些函数都不是简单地连接和乘以一个矩阵。 因此，在
浏览 37提问于2019-05-03得票数 1
1回答
我正在研究基于自我关注的BiLSTM的几个实现，我不明白为什么每个实现中的输入和输出大小是不同的。具体而言，我指的是取自不同实现的下列代码：
实现 e
def attnetwork(self, encoder_out, final_hidden):
# encoder_out shape = (batch_size, seq_len, n_hidden)
# final_hidden shape = (1, batch_size, n_hidden)
hidden = final_hidden.squeeze(0)
att
浏览 4提问于2021-02-16得票数 0
当我学习示例时，有一个问题。
class Decoder(tf.keras.Model):
def __init__(self, vocab_size, embedding_dim, dec_units, batch_sz):
super(Decoder, self).__init__()
self.batch_sz = batch_sz
self.dec_units = dec_units
self.embedding = tf.keras.layers.Embedding(vocab_size, embedding_dim)
self.gru =
浏览 2提问于2019-10-30得票数 0
我在网上寻找了几个示例来构建用于数据去噪的堆叠式自动编码器，但我似乎不了解编码器部分的基本部分：
按照下面的示例，我构建了这样的自动编码器：
inputs = Input(shape=(timesteps, 50))
encoded1 = Dense(30, activation="relu")(inputs)
encoded2 = Dense(15, activation="relu")(encoded1)
encoded3 = Dense(5, activation="relu")(encoded2)
decoded1 = De
浏览 0提问于2019-01-08得票数 0
我被tensorflow r1.0中的注意力解码器实现搞糊涂了。可以在这里找到原始代码：。
下面是我感到困惑的代码部分：
def decoder_fn(time, cell_state, cell_input, cell_output, context_state):
if cell_state is None: # first call, return encoder_state
cell_state = encoder_state
# init attention
attention = _init_attention(encod
浏览 2提问于2017-04-06得票数 0
正如above..is问题中所指出的，注意和自我注意机制有区别吗？另外，还有人能和我分享关于如何在CNN中实施自我注意机制的技巧和技巧吗？
浏览 0提问于2019-04-17得票数 31
? 在这个模型中，在编码器部分，我们给出一个包含3个单词A，B和c的输入句子，我们得到一个上下文向量W，它被传递给解码器。为什么我们不将W传递给解码器的所有单元，而不是前一个单元的输出，例如(首先传递W，然后在下一个单元中传递X，在下一个单元中传递Y) 有人能解释一下解码器的单元状态到底是怎么回事吗？传递给解码器的编码器的单元状态发生了什么变化
浏览 25提问于2021-02-09得票数 0
回答已采纳
1回答
我读了很多关于转换器和自我注意的文章，看到BERT和GPT-2都是一个较新的版本，只使用了编码器变压器(BERT)和解码器变压器(GPT-2)。我一直试图为自己构建一个解码器模型，用于下一个序列预测，但被一件事搞糊涂了。我使用的是PyTorch，我先看了Seq2Seq tutorial，然后又研究了由Transformer Decoder Layers组成的Transformer Decoder Block。我的困惑来自于记忆，这些也需要传递。在文档中，他们说内存是编码块的最后一层，这对于Seq2Seq模型是有意义的，但我想做一个只有解码器的模型。所以我的问题是，如果你没有编码器，你怎么把像
浏览 19提问于2020-12-17得票数 1
2回答
在过去的几天里，我阅读了注意力背后的理论，什么时候应用它，以及有什么类型。我想我对这个概念有一个很好的第一次理解，但是现在我想把我的一些见解应用到我自己的项目中，我发现自己被困在TF中的关注的实施中。(快速链接到TF注意)
注意层要求我至少提供查询和值。如果我已经错了，请纠正我，但这是我对它们的看法：
查询:这些是我的解码器的隐藏状态。
值:这些是我的编码器的隐藏状态。
到目前一切尚好。我正在挣扎的是，我不知道我的解码器的隐藏状态可能来自哪里。我想实施一个自我关注的机制。因此，我的译码器隐藏状态是动态生成的，在实际应用注意层之前，我无法知道它们。文档中提供的示例对我没有帮助，因为它关注的是一个
浏览 0提问于2020-01-29得票数 3
回答已采纳
我正在TensorFlow网站上阅读TensorFlow上的文档。文档说，调用参数采用查询张量，值张量。我的问题是这些张量是什么。他们是，
查询张量= lstm输出
值张量= lstm隐藏状态
如果我错了，请纠正我。
谢谢
浏览 4提问于2020-04-03得票数 0
回答已采纳
我试图在Seq2Seq模型中添加注意层，但是当我在列车上安装时，我得到了连接步骤上的InvalidArgumentError。该错误来自于级联步骤，其中它是级联解码器输出和注意力输出。
提到的错误：
输入尺寸应匹配: shape = 32,15,300 vs. shape1 = 32,32,300
我的理解是，前32项是批次大小，第二项是序列长度，300项是单位数量。但是为什么shape1的第二项也有32项呢？
下面是我的代码，任何见解都会很有帮助。
WORD2VEC_DIMS = 50
DICTIONARY_SIZE = num_tokens
units = 300
ADAM = Adam(
浏览 4提问于2020-12-02得票数 0
1回答
单向变压器与双向BERT
、、、
我刚看完和的报纸。但不知道为什么变压器是单向的，伯特是双向的，就像伯特论文中提到的那样。由于它们不使用递归网络，所以解释方向就不那么简单了。有人能给点线索吗？谢谢。
浏览 0提问于2019-03-12得票数 6
回答已采纳
我是一个机器学习的初学者，我试图创建一个拼写纠正模型，拼写检查少量的词汇(大约1000个短语)。目前，我参考了tensorflow 2.0教程中的1.NMT和2.文本生成。我已经完成了一个编码层，但目前我有一些问题，以匹配以下各层的形状(译码器和注意)与前面的(编码器)。本教程中的编码器不是双向的，而我正在尝试实现双向编码器。下面是我的编码器和注意层的代码。
class Encoder(tf.keras.Model):
def __init__(self, vocab_size, embedding_dim, enc_units, batch_sz):
super(Encoder,
浏览 0提问于2020-05-18得票数 1
1回答
稠密合成器的实现
、、、、
我试图理解合成器论文( 1)，并且有一个关于密集合成器机制的描述，它应该取代变压器体系结构中描述的传统的注意模型。
对密集合成器的描述如下：
因此，我试图实现该层，它看起来像这样，但我不确定我是否做对了：
class DenseSynthesizer(nn.Module):
def __init__(self, l, d):
super(DenseSynthesizer, self).__init__()
self.linear1 = nn.Linear(d, l)
self.linear2 = nn.Linear(l
浏览 2提问于2020-05-06得票数 15
1回答
我想知道编码器的隐藏状态对于注意力网络有多有用。当我研究一个注意力模型的结构时，我发现一个模型通常是这样的：
x: Input.
h: Encoder's hidden state which feeds forward to the next encoder's hidden state.
s: Decoder's hidden state which has a weighted sum of all the encoder's hidden states as input and feeds forward to the next decoder'
浏览 0提问于2020-04-27得票数 1
2回答
我试着比较一下
答:基于变压器的神经机器翻译(NMT)体系结构是你所需要的全部文件。
B:一种基于编码器中的双向LSTM和解码器中的单向LSTM的体系结构，它关注编码器的所有隐藏状态，创建一个加权组合，并与解码器(单向)LSTM输出一起使用该结构产生最终输出字。
我的问题是，A架构相对于B的优势可能是什么，即自我关注与LSTM的关注？
我可以想象，与B体系结构中计算的顺序性质相比，A体系结构具有具有并行计算的巨大优势。
还有其他好处吗？特别是，架构A是否具有注意是你所需要的论文中描述的最大路径长度优势？
浏览 0提问于2021-11-28得票数 1
1回答
例如，我想将图像帧转换为文本，例如，如果我有一个与狗一起玩球的图像，我将生成一个简单的文本“狗玩球”(好的，我知道我必须接受x个样本的训练，但我的意思是指导性的)。
哪种类型的神经网络允许我执行那个动作？
谢谢
浏览 0提问于2018-09-06得票数 0
1回答
我已经训练了一个机器翻译模型(从英语到越南语)，使用了25000个示例对(对于训练集-> 20000，测试集-> 5000)，我使用的模型如下所示，但val_acc总是达到~0,37，尽管我使用了其他模型，并且epoch大约是100： model = Sequential()
model.add(Embedding(src_vocab, n_units, input_length=src_timesteps, mask_zero=True))
model.add(Bidirectional(LSTM(n_units)))
model.add(Dropout(0.2))
model
浏览 19提问于2019-05-19得票数 0
我正在研究AutoCoder。我用Matplotlib绘制了输入值和重构值的图表。如何绘制编码特征的图形以及编码特征是什么？
浏览 1提问于2019-09-29得票数 0
回答已采纳
1回答
根据Attention is all you need的论文:加性注意(Bahdanau在RNN中使用的经典注意)使用具有单个隐层的前馈网络计算兼容性函数。，虽然两者在理论复杂性上是相似的，
事实上，我们可以看到，的计算复杂性的加性注意和点戳(变压器注意力)都是n²*d。
然而，如果我们仔细观察加性注意，它实际上是一个RNN单元，其计算复杂度为n*d² (根据同一表)。
因此，加性注意力的计算复杂性不应该是n*d²而不是n²*d吗？
浏览 4提问于2022-12-02得票数 1
回答已采纳
1回答
我试图在编码器LSTM(多对多)和解码器LSTM(多对一)之间添加一个关注层。 但我的代码似乎只为一个Decoder LSTM输入创建了关注层。 如何将注意力层应用于解码器LSTM的所有输入？(注意层输出=(无，1440,984)) 这是我的模型的关注层的总结。 __________________________________________________________________________________________________
Layer (type) Output Shape Param # Con
浏览 10提问于2018-12-23得票数 6
在注意中，上下文向量(c)是从注意权重(\alpha)乘以编码器隐藏状态(h)的总和导出的，其中权重是通过乘以解码器隐藏状态和编码器状态来获得的。
c_i = \Sigma_j^{T_x} \alpha_{ij} h_j
我的问题是，为什么要计算这个上下文向量而不转发注意力权重，因为这些可以指示每个编码器状态的关注度。
有人能解释一下背后的直觉吗？
浏览 0提问于2019-05-16得票数 2
回答已采纳
这是我验证奇偶校验编码器-解码器DUT的场景。译码器输入代理是在编码器输出代理中从无源监控器捕获的数据流中注入错误的反动代理。
现在，我有顺序和序列项目，分别为编码器和解码器输入代理。但是，我如何同步这两个代理，以便解码器重新激活代理添加错误，并为每个数据创建一个新的数据包。
例如，假设编码器按顺序- 1000、1010、0100、1011发送数据，解码器重新激活代理按顺序(一个热位)- 0010、1000、0001、0100创建错误数据包。现在，两者都创建彼此无关的数据包。然而，即使从被动代理监视器接收到两个数据(即1000和1010 )，反作用剂也应该与其第一分组(如1000 ^
浏览 5提问于2017-09-05得票数 0
回答已采纳
我的疑问是，Naudio是反向做的吗？也就是说，它可以将WAV流转换为MP3流吗？如果是，请解释如何或帮助我与一些参考。
浏览 3提问于2013-02-07得票数 2
回答已采纳
1回答
关于使用ffmpeg加速硬件的几个问题(我认为这与不同)：
如何判断我的ffmpeg版本是否支持硬件加速，以及它支持哪些加速特性？
从转码过程输出的，我能判断ffmpeg是否在使用硬件加速吗？
I使用ffmpeg从摄像机中提取H265视频，并将其转换为H264 HLS块。现在的问题是转码过程过于CPU密集。我希望使用硬件加速。由于应用程序，我不能使用昂贵的GPU，如NVidia cuda平台。如果只使用英特尔高清图形附带CPU，我能大幅降低H265 => H264转码时的CPU使用率吗？以%为单位的估计性能增益是多少？
谢谢。
浏览 10提问于2022-08-02得票数 0
我已经使用tensorflow设计了一个转换器模型。该模型的目标是生成一个文本序列，理想情况下是一个问题，然后是一个给定输入句子的答案。
我有一些数据点(大约15k )，其格式如下
SOURCE SENTENCE: <@>A man in the distance is walking past a brick wall painted with words and graffiti.<#>where<%>wall<?>brick
TARGET SENTENCE: <^>where is the man walking ?<~&
浏览 2提问于2020-01-28得票数 0
我是一个初学者学习骆驼，并试图在骆驼上运行netty4使用阿帕奇蓝图。我使用netty创建一个TCP服务器：
<camelContext xmlns="http://camel.apache.org/schema/blueprint">
<route id="timerToLog">
<from uri="netty4:tcp://localhost:5150"/>
<log message="The message contains ${body}"/
浏览 0提问于2015-12-07得票数 0
在seq2seq-模型中，我希望在编码结束时使用隐藏状态从输入序列中读取更多信息。
因此，我返回隐藏状态，并在其之上构建一个新的子网。效果很好。然而，我有一个疑问:这应该变得更加复杂，因此我实际上是依靠所有必要的信息来将额外的任务编码到隐藏的状态中。
但是，如果seq2seq-解码器使用注意机制，它基本上会窥视编码器侧，有效地绕过编码结束时的隐藏状态。因此，并不是seq2seq-网络所依赖的所有信息都在编码结束时处于隐藏状态。
从理论上讲，这是否意味着我不需要使用注意力机制，而是使用普通的-香草-seq2seq，以便在编码结束时最大限度地摆脱隐藏状态？这显然会在seq2seq-任务上牺牲很大一
浏览 1提问于2016-05-18得票数 0
ChatGPT使用的是编解码结构还是仅使用解码器的体系结构？我已经接触到媒体和TowardsDataScience的文章，这些文章暗示它有一个编解码结构(请参阅下面的源代码)：
-- https://medium.com/@sreedevr/chatgpt-architecture-explained-7fc0cbb7426c
-- https://towardsdatascience.com/how-chatgpt-works-the-models-behind-the-bot-1ce5fca96286
-- https://leoneperdigao.medium.com/chatgpt-
浏览 0提问于2023-02-03得票数 6
5回答
这两个注意事项被应用于seq2seq模块中。介绍了 TensorFlow文档中两种不同的注意事项:乘法注意和加性注意。有什么关系？
浏览 4提问于2017-05-29得票数 35
回答已采纳
我有一个显示视频的非全屏DirectX窗口，出于应用程序的目的，我需要移动它，有时还需要以编程方式从隐藏/可见状态更改。当窗口从隐藏变为可见时，有时可能需要将其移动到新位置，然后才能显示。
我和ShowWindow(hWnd, SW_HIDE)一起把窗户藏起来了。当我想在一个新的位置再次显示窗口时，我首先使用新的坐标、SWP_NOREDRAW和SWP_NOZORDER标志用SetWindowPos移动它(我不想打乱Z顺序)。
然后，我调用ShowWindow(hWnd, SW_SHOW)使窗口出现在新位置。除了窗口在其新的正确位置出现之前最后一次可见的位置短暂出现之外，该窗口工作正常。
我已经
浏览 0提问于2012-03-02得票数 1
回答已采纳
7回答
我看不出伯特是如何在不使用解码器的情况下做出预测的，这是之前所有模型的一部分，包括变压器和标准RNN。如何在不使用解码器的情况下在BERT体系结构中进行输出预测？怎么才能完全消除解码器呢？
换句话说，我可以用什么解码器和伯特一起生成输出文本？如果BERT只编码，我可以使用什么库/工具从嵌入解码？
浏览 0提问于2019-12-21得票数 22
回答已采纳
1回答
为什么最近的对话代理(如ChatGPT、BlenderBot3和Sparrow )是基于解码器架构而不是编解码结构的？
我知道编码器和解码器的注意力之间的区别，但就对话而言，难道编解码器的注意力不是更好吗？
浏览 0提问于2023-02-24得票数 0
回答已采纳
我总是在x264上编码视频，这种编码在旧设备或移动电话上工作得很好。
为了提高编码速度，我尝试用NVENC H264代替nVidia GPU。
问题1：NVENC H264的设备可组合性与x264不同吗？
问题2：旧设备可以播放与x264相同的NVENC H264文件吗？
旧设备：(所有可以播放x264的设备) Android 6+，电视安装框，电视，Google 48+
浏览 5提问于2021-03-27得票数 0
回答已采纳
我通过了。在最后一个块中，它说dynamic_rnn函数不能应用于计算注意力。但我不明白的是，我们所需要的只是解码器的隐藏状态，以便找到将用编码器符号计算出来的注意。
浏览 3提问于2017-05-30得票数 1
回答已采纳
2回答
我正在看在巴哈瑙的注意力课。我注意到上下文向量的最终形状是(batch_size, hidden_size)。考虑到attention_weights有形状(batch_size, 64, 1)，特性有形状(batch_size, 64, embedding_dim)，我想知道它们是如何得到这种形状的。他们将两者相乘(我相信这是一个矩阵乘积)，然后在第一个轴上进行求和。在上下文向量中隐藏的大小来自哪里？
浏览 4提问于2020-02-02得票数 1
回答已采纳
1回答
最近数据权重更大的RNN
、、、、
我正在做LSTM的股票预测样本数据。最近的神经网络似乎没有给出更多的权重，最近的data.The权重在RNN中的不同时间步骤中都是平等的。我们是否可以选择增加最近数据的权重？(在LSTM或RNN中有任何参数)。
你能纠正我或者给我更多的投入吗？
提前谢谢。
浏览 12提问于2020-12-29得票数 0
回答已采纳
3回答
在下面的图像中，Bahdanau的加性注意被认为是方程4的第二部分。
我正在试图找出矩阵w1、w2、ht、hs和v的形状，以便了解如何在中使用这种机制。
ht 和有不同的最终尺寸？表示(批次大小、总单位)和(批次大小、时间窗口)。上述文件中的等式8似乎就是这样做的。
上述文件中的方程式8有以下符号：
，这到底是什么呢？
(W1 . ht-1) + (W1 . Ct-1)
或
W1 . concatenation(ht-1, ct-1)
我见过两人都被利用了。任何对上述矩阵形状的快速解释都是非常感谢的。
浏览 10提问于2020-09-18得票数 1
在seq2seq模型中，使用垫子使桶中的所有序列具有相同的长度。除此之外，似乎没有对垫子进行特殊处理：
编码器对填充物进行编码，以及基本解码器w/o注意解码使用最后一种编码--编码解码器的填充--注意填充输入的隐藏状态--如果能澄清这一点将是非常有帮助的:实际上，这些填充仅仅是一个特殊的id/嵌入，而当前的seq2seq实现对待它们就像对待其他嵌入一样？并且不需要特殊的机制来忽略这些填充，例如，在编码包含填充的序列时；或者使用基于注意力的解码器解码包含填充的序列？所以在填充之后，对填充没有什么特别的处理，我们可以假装填充只是另一个嵌入(除了使用target_weights进行加权x熵之外)？
浏览 1提问于2016-02-22得票数 1
1回答
当我使用ffmpeg缩放H264视频时。视频似乎被解码成原始图形，然后缩放，然后再次编码。但是如果速度非常关键，如果我指定一个像2:1这样的“好”比率，有没有更快的方法，就像我想每四个像素中就有一个像素？
我知道一点h264是如何工作的，8*8/4*4像素是作为一个组进行编码的，所以在它的范围内提取1/4像素并不容易。但是，有没有办法快速地将4个组合并成一个组呢？
浏览 3提问于2015-10-26得票数 1
1回答
我是语音识别的新手，我正在寻找一种方法，以音频/wav文件的形式将一个句子(或多个句子)拆分为单个单词？这听起来像是一个标准问题，所以我想知道业内人士是如何处理它的。 ps:是的，这个问题是三年前提出的，但我正在寻找一个使用更新的库(即pytorch和tensorflow 2.0)的最新答案。谢谢!
浏览 40提问于2019-10-02得票数 0
回答已采纳
我有三个输入文本序列，一起生成目标序列。我想独立编码三个输入。这样做的正确方法是什么？下面的方法有效吗？每个输入进入输入层、嵌入层和LSTM层，然后将它们连接在一起，再次使用bi-LSTM作为编码器。
浏览 21提问于2020-08-14得票数 0
2回答
对于序列预测问题，我不明白变压器和LSTM在力学上的区别。到目前为止，我收集到的资料如下：
LSTM:
📷
假设我们想要预测单词‘深处’中的剩余标记，给出第一个标记'd‘。然后第一个输入是'd'，预测的输出是'e‘。现在，在下一个时间步骤中，先前预测的输出'e‘与包含关于'd’的信息的前一个隐藏状态一起输入。直到预测的输出为
变压器：
在同一示例中，转换器将如何工作，并避免顺序输入？我们是将整个单词“深度”作为输入，并将其留给网络以正确的顺序获取字符，还是只输入'd‘(这是我们在LSTM中所做的)？
我真的很困惑，我想我错过了一些非常基本
浏览 0提问于2021-09-04得票数 0
1回答
我当时正在读著名的报纸。虽然我对大部分的主要概念都很清楚，但还是有几个问题。
编码器如何将输入的注意力矩阵传递给解码器？正如我所理解的，它只将密钥和值矩阵传递给解码器。
在测试时，我们从哪里得到译码器的移位输出？
由于它一次只能输出一个令牌，所以这个转换器会运行多个迭代来生成输出序列。如果是，那么，如何知道什么时候停止？
当解码器已经从编码器和蒙面的多头注意力中获得Q、k和v时，是否训练了多头的权值？
任何帮助都是非常感谢的。
浏览 6提问于2021-03-21得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
对象存储
云直播活动推荐
腾讯云开发者
