Transformer 的自注意力（Self-Attention）如何计算？

1. 自注意力的定义

自注意力（Self-Attention）是一种将同一序列内部不同位置相互关联的注意力机制，其查询、键、值均来自同一个输入序列。与交叉注意力（Cross-Attention）不同——后者查询来自一个序列、键和值来自另一个序列——自注意力用于在单一序列内部建立全局依赖。

2. 计算流程

自注意力的计算分为四步：

• 对输入序列的每个位置，分别乘以三个可学习的权重矩阵，得到查询、键、值三组向量
• 将查询与所有键做点积，得到注意力分数矩阵
• 对分数进行缩放并施加 softmax，得到归一化的注意力权重
• 用注意力权重对值向量加权求和，得到该位置的输出表示

3. 全局依赖的一步关联

由于所有位置可以同时进行上述计算，任意两个位置之间的信息传递只需一次注意力操作即可完成，最大路径长度为常数。这使得模型能够高效捕捉长距离依赖，也是 Transformer 相较循环结构的关键优势之一。