问掩蔽层与attention_mask参数在MultiHeadAttention中的关系

EN

用角掩蔽和填充上的Tensoflow文档可能会有所帮助。

以下是该文件的摘录。

当使用Functional或Sequential时，由嵌入层或掩蔽层生成的掩码将通过网络传播到任何能够使用它们的层(例如，RNN层)。Keras将自动获取与输入相对应的掩码，并将其传递给任何知道如何使用它的层。

tf.keras.layers.MultiHeadAttention还支持TF2.10.0中的自动掩码传播。

改进了对tf.keras.layers.MultiHeadAttention的掩蔽支持。

• 用于查询、键和值输入的隐式掩码将自动用于计算该层的正确注意掩码。当调用该层时，这些填充掩码将与任何直接传入的attention_mask相结合。这可以与tf.keras.layers.Embedding和mask_zero=True一起使用，以自动推断出正确的填充掩码。

• 在层中添加了一个use_causal_mask调用时间。传递use_causal_mask=True将计算因果注意掩码，并可选择地将其与调用该层时直接传入的任何attention_mask组合。

掩蔽层保持输入向量不变，并创建一个掩蔽向量，如果它们需要掩码向量(如RNN层)，则传播到以下层。如果您实现自己的model.If --使用来自huggingFace的模型--您可以使用它，例如，如果您想保存掩码向量以供以后使用，如果不是，掩蔽操作已经是built_in，那么在开始时不需要添加任何掩蔽层。