Whisper 整体架构图

Attention

注意力机制模块，兼容自注意力和交叉注意力。

在这里插入图片描述

AttentionBlock

Transformer 模块，包含一个自注意力，一个交叉注意力（可选）和一个 MLP 模块。

在这里插入图片描述

AudioEncoder+TextDecoder

音频编码器和文本解码器。编码器的 Transformer 模块只有自注意力，解码器的Transformer 模块有一个自注意力一个交叉注意力。

在这里插入图片描述

Whisper

Whisper 整体模型。

在这里插入图片描述