问GPT块和变压器解码器块有什么区别？

EN

GPT使用未经修改的转换器解码器，只是缺少编码器注意部分。我们可以在变压器模型和GPT模型的图表中直观地看到这一点：

对于GPT-2，作者在论文中澄清了这一点：

已经有几条线的研究研究了在关注之前或之后进行层规格化的效果。例如，“夹层变压器”试图研究不同的组合。

对于GPT-3，在GPT-2之上还有进一步的修改，在论文中也有解释：

在原始转换器中，解码器不能处理先前的令牌，而编码器可以处理所有令牌。

此外，编码器的输出与输入的令牌数相同，而解码器的输出只是一个令牌。

对于GPT/BERT，这是主要的区分器，它导致将它们称为只有解码器和编码器的模型。他们中的任何一个都没有交叉关注。

BERT生成相同数量的令牌作为输入，可以输入到线性层，并使用蒙面语言建模，因此这是严格的编码器模型。

GPT一次生成一个令牌，就像变压器的译码器一样，并且有因果语言建模，所以它是严格的译码器模型。

为了完整起见，确实有一些只有译码器的体系结构，但是使用了蒙面语言建模，但是它们显示的是零镜头的perf。还有一些像T5这样的编解码结构，它的性能也不如GPT3这样的仅解码器架构，除非您也在监督的数据集上进行培训(例如，从T5生成的T0 )。

参考资料：https://arxiv.org/abs/2204.05832