问变压器模型中译码器的第一个输入是什么？

EN

在每个解码时间步骤中，解码器接收两个输入：

• 编码器输出:这是计算一次，并在每个解码时间步骤作为关键(K_{endec})和值(V_{endec})的编码器-解码器注意块的所有层。
• 目标令牌解码到当前解码步骤:对于第一步，矩阵在其第一个位置包含一个特殊的令牌，通常是</s>。在每个解码步骤k后，将位于k位置的解码器的结果写入位于k+1位置的目标令牌矩阵，然后进行下一个解码步骤。

例如，在解码的fairseq实现中，您可以看到它们如何创建目标令牌矩阵并填充这里，以及如何将EOS令牌(</s>)放置在这里的第一个位置。

当你用bert标签标记你的问题时，你应该知道我之前描述的仅仅适用于使用转换器的序列到序列转换的任务方式(即当用于机器翻译时)，而这不是伯特的工作方式。BERT是关于蒙面语言模型丢失的训练，这使得它在推理时间的使用与NMT转换器有很大的不同。