问Pytorch:理解nn.TransformerDecoder前向函数中每个参数的目的

EN

根据https://pytorch.org/docs/stable/generated/torch.nn.TransformerDecoder.html，正向函数 of nn.TransformerDecoder考虑了以下论点：

• tgt -译码器的序列(必需)。
• 内存-编码器最后一层的序列(必需)。
• tgt_mask - tgt序列的掩码(可选)。
• memory_mask -内存序列的掩码(可选)。
• tgt_key_padding_mask -每批tgt密钥的掩码(可选)。
• memory_key_padding_mask -每批内存键的掩码(可选)。

不幸的是，Pytorch关于这个函数的官方文档在这一点上(2021年4月)并不是非常详尽，在每个张量的预期维度上，以及在使用每个可选参数是否合理的时候。

例如，在以前的谈话中向我解释说，tgt_mask通常是一个用于自我注意掩蔽的平方矩阵，以防止将来的令牌泄漏到对过去令牌的预测中。类似地，tgt_key_padding_mask用于掩蔽填充标记(当您填充一批不同长度的序列以使它们能够适应单个张量时)。因此，在解码器中使用tgt_mask是完全有意义的，但我对tgt_key_padding_mask不太确定。掩蔽目标填充标记的意义是什么？仅仅在培训期间忽略与填充令牌相关的预测不就足够了吗(比如说，您可以做一些类似nn.CrossEntropyLoss(ignore_index=PADDING_INDEX)的事情，仅此而已)？

更广泛地说，考虑到目前的文档并不像人们所希望的那样详尽，我想知道n.TransformerDecoder的前向函数的每个参数的目的是什么，何时使用每一个可选的参数是有意义的，以及在训练和推理模式之间切换时是否应该记住使用中的细微差别。