# Transformer 架构补充内容

> 本篇为「从函数到 Transformer」系列的收官篇。前四篇我们从最简单的函数一路走到神经元、梯度下降、过拟合,再到矩阵运算与 CNN。本篇回答最后一个问题:**为什么有了 CNN 和 RNN,大模型们还是选择了 Transformer?**

## 一、为什么需要 Transformer

### 1.1 RNN 的痛点:不能并行

处理文本这类**序列数据**时,最经典的方案是 RNN(循环神经网络):它像一个「接力棒传递」,必须**一个词一个词顺序处理**,后一个词依赖前一个词的结果。

- 问题 1:**无法并行**——GPU 再强,也只能排队干活,训练极慢。
- 问题 2:**长距离遗忘**——句子太长时,开头的信息传到结尾早已「信号衰减」(梯度消失,见第 3 篇)。

### 1.2 CNN 的痛点:感受野有限

CNN 擅长捕捉**局部**特征(见第 4 篇),但「隔壁单词」和「隔了 20 个词的单词」之间的关系,CNN 需要堆很多层才能看到,代价太大。

### 1.3 Transformer 的思路:让每个词「一步到位」地看全所有词

Transformer 的核心组件是**自注意力机制(Self-Attention)**:每个词在计算自己的表示时,**直接和序列里所有词做关联**,并衡量「谁对我更重要」。全程可以**并行计算**,GPU 直接起飞。

> **一句话总结**:RNN 要一个一个传接力棒,CNN 要一层一层爬楼梯,而 Transformer 直接「一眼看全」——又准又快。

## 二、自注意力机制(Self-Attention)

### 2.1 从查询说起:Q / K / V

想象你在图书馆找一本书:你带着**问题(Query,Q)**去查**索引(Key,K)**,索引告诉你该翻哪本书,然后你取出书里的**内容(Value,V)**。

在 Transformer 里,每个词都会生成三个向量:

| 向量              | 含义                 | 类比             |
| :---------------- | :------------------- | :--------------- |
| **Q(Query 查询)** | 这个词「想找什么」   | 你在图书馆的问题 |
| **K(Key 键)**     | 这个词「能提供什么」 | 书的索引标签     |
| **V(Value 值)**   | 这个词「实际内容」   | 书里的正文       |

它们都是由输入向量分别乘上三个可训练的权重矩阵得到的:

```math
Q = XW_Q \qquad K = XW_K \qquad V = XW_V
```

### 2.2 注意力分数:Q 和 K 做点积

「词 i 应该多关注词 j」,用 Q 和 K 的**点积**衡量:

```math
score_{ij} = Q_i \cdot K_j
```

点积越大,说明「词 i 的问题」和「词 j 的标签」越匹配,词 j 对词 i 越重要。

### 2.3 缩放点积注意力公式

把所有词的注意力分数计算出来,经过 **Softmax 归一化**成「注意力权重」,再对 V 加权求和,就得到每个词的新表示:

```math
\text{Attention}(Q, K, V) = \text{softmax}\left(\frac{QK^T}{\sqrt{d_k}}\right)V
```

公式拆解:

| 部分      | 含义                                                         |
| :-------- | :----------------------------------------------------------- |
| `QK^T`    | 所有词两两之间的注意力分数(点积矩阵)                         |
| `÷√d_k`   | **缩放**:防止分数过大导致 softmax 梯度消失(`d_k` 是 K 的维度) |
| `softmax` | 把分数变成「和为 1」的权重                                   |
| `× V`     | 按权重把各词的内容混合,得到输出                              |

### 2.4 直观理解

- 句子「The animal didn't cross the street because **it** was too tired」中的 **it**,通过自注意力会**更多地关注 animal 而不是 street**——这就是模型「读懂指代关系」的方式。
- 每个词的新表示 = 全序列所有词按重要度加权混合的结果,因此**天然捕捉长距离依赖**。

## 三、多头注意力(Multi-Head Attention)

一组 Q/K/V 只能捕捉**一种**关注模式,太单一。Transformer 的做法是:把 Q/K/V 切成 **h 份(头)**,每份独立做一次自注意力,最后拼起来再投影:

```math
\text{MultiHead}(Q,K,V) = \text{Concat}(head_1, ..., head_h) W_O
```

```math
head_i = \text{Attention}(QW_i^Q, KW_i^K, VW_i^V)
```

**为什么要多头?**

| 头   | 可能学到的关注模式            |
| :--- | :---------------------------- |
| 头 1 | 关注**语法**关系(主谓、修饰)  |
| 头 2 | 关注**指代**关系(it → animal) |
| 头 3 | 关注**位置**邻近关系          |
| ...  | ...                           |

多个头 = 从多个角度「各看各的」,最后汇总,表达能力远超单头。

## 四、位置编码(Positional Encoding)

自注意力有个致命缺陷:**它不关心顺序**。「猫追狗」和「狗追猫」在自注意力看来是一样的(都是那三个词两两交互)。

所以需要额外给每个词**注入位置信息**。最经典的做法是用**正弦/余弦函数**生成位置编码,加到输入向量上:

```math
PE_{(pos, 2i)} = \sin\left(\frac{pos}{10000^{2i/d_{model}}}\right)
\qquad
PE_{(pos, 2i+1)} = \cos\left(\frac{pos}{10000^{2i/d_{model}}}\right)
```

- `pos`:词的位置(第几个词)。
- `i`:维度下标,决定频率。
- 好处:**同一位置的编码唯一**,且不同位置之间天然有「相对距离」信息,模型可以学出「相邻词关系更近」。

## 五、Transformer 整体架构

### 5.1 Encoder 的结构

一个 Transformer Encoder 层 = **多头自注意力 + 前馈网络**,外面再包一层**残差连接 + LayerNorm**:

![mermaid diagram](https://developer.qcloudimg.com/http-save/yehe-10317468/0800457b14e5ecd1b9eae34e17983243.png)

**两个关键设计:**

| 组件                   | 作用                                                         |
| :--------------------- | :----------------------------------------------------------- |
| **残差连接(Residual)** | `输出 = 输入 + 子层输出`,梯度可以「抄近路」直传,解决深层网络梯度消失(呼应第 3 篇) |
| **LayerNorm 层归一化** | 把每层的输出拉回到均值为 0、方差为 1,训练更稳定              |

### 5.2 前馈网络(FFN)

每个词经过注意力后,再过一个**两层的全连接网络**(带 ReLU 激活),做一次「逐位置的加工」:

```math
\text{FFN}(x) = \max(0, xW_1 + b_1)W_2 + b_2
```

### 5.3 Encoder 与 Decoder

- **Encoder(编码器)**:一堆 Encoder 层堆叠,把输入序列编码成「含上下文的表示」。
- **Decoder(解码器)**:除了自注意力,还有**交叉注意力(Cross-Attention)**,去「查阅」Encoder 的输出,逐词生成结果(如翻译、对话)。
- 现在的很多大模型(GPT 系列)只用 **Decoder 部分**,称为「Decoder-only」架构。

## 六、CNN vs RNN vs Transformer 对比总结

| 特性                     | CNN            | RNN                 | Transformer       |
| :----------------------- | :------------- | :------------------ | :---------------- |
| **并行性**               | 高             | **低(顺序处理)**    | **高(并行计算)**  |
| **长距离依赖**           | 弱(靠堆层)     | 弱(易遗忘/梯度消失) | **强(一步看全)**  |
| **计算复杂度(序列长 n)** | 较低           | 较低                | O(n²)(长序列贵)   |
| **擅长任务**             | 图像、局部特征 | 短序列、时间序列    | 文本、大模型(LLM) |
| **代表模型**             | ResNet、VGG    | LSTM、GRU           | BERT、GPT、LLaMA  |

**Transformer 的代价**:自注意力是 `O(n²)` 复杂度——序列越长,计算量平方级增长,所以超长文本会用「稀疏注意力」等优化技巧。

## 七、小结:从函数到 Transformer,我们走完了什么

| 篇章    | 核心内容                                                     |
| :------ | :----------------------------------------------------------- |
| 第 1 篇 | 符号主义 vs 联结主义;神经元 = 线性加权 + 激活函数;前向传播   |
| 第 2 篇 | 损失函数衡量好坏;解析解与梯度下降迭代;链式法则与反向传播     |
| 第 3 篇 | 过拟合、正则化、Dropout、梯度消失/爆炸、收敛速度与计算开销   |
| 第 4 篇 | 矩阵运算压缩神经层;全连接层参数爆炸 → 卷积与池化(CNN)        |
| 第 5 篇 | 序列建模痛点 → 自注意力 QKV → 多头注意力 → 位置编码 → Transformer 架构 |

**一句话收官**:从 `y = wx + b` 这条最简单的直线开始,一路叠加激活函数、堆叠层次、用梯度下降调参,再到用矩阵统一表达、用卷积看图像,最后用注意力机制让每个词「一眼看全」——**Transformer 就是把前面所有思想集成在一起的终极形态**。至此,你已经走完了「从函数到 Transformer」的完整旅程。🎉

Transformer 架构补充内容 本篇为「从函数到 Transformer」系列的收官篇。前四篇我们从最简单的函数一路走到神经元、梯度下降、过拟合,再到矩阵运算与 CNN。本篇回答最后一个问题:为什么有了 CNN 和 RNN,大模型们还是选择了 Transformer? 一、为什么需要 Transformer RNN 的痛点:不能并行 处理文本这类序列数据时,最经典的方案是 RNN(循环神经网

【从函数到 Transformer 系列 05】Transformer架构补充内容

人工智能

架构设计

算法

Transformer架构凭借自注意力机制实现并行计算与长距离依赖捕捉，通过QKV向量交互、多头注意力及位置编码，解决了RNN无法并行和CNN感受野有限的问题，成为大模型核心架构。本文详解其原理、组件与CNN/RNN对比，助力理解AI技术演进。

循环神经网络

Transformer

4核4G3M云服务器 新用户低至38元/年！

文章

问答

视频

教程

学习中心

腾讯云实验室

直播

竞赛

腾讯云代码分析专区

腾讯iOA零信任安全管理系统专区

腾讯云架构师技术同盟交流圈

腾讯云数据库专区

腾讯云智能顾问专区

腾讯云原生专区

腾讯混元专区

腾讯云TCE专区

腾讯云Lighthouse专区

腾讯云HAI专区

腾讯云Edgeone专区

腾讯云存储专区

腾讯云智能专区

腾讯轻联专区 

腾讯云开发专区

TAPD专区

腾讯轻量云游戏服专区

EdgeOne AI 安全实战专区

腾讯云最具价值专家

腾讯云架构师技术同盟

腾讯云创作之星

腾讯云开发者先锋

腾讯云代码助手

云原生构建

TAPD 敏捷项目管理

Cloud Studio

SDK中心

API中心

命令行工具

涵盖代码开发、场景应用、自动测试全流程，助你从零构建专属AI助手

一站式MCP教程库，解锁AI应用新玩法

聚焦“写作效率、视觉美观与运行性能”三方面进行全面升级，为您提供更高效、稳定的创作环境

社区富文本&Markdown编辑器全新改版上线，欢迎大家体验!

诚挚邀请您参与本次调研，分享您的真实使用感受与建议。您的反馈至关重要，感谢您的支持与参与！

社区新版编辑器体验调研

【从函数到 Transformer 系列 05】Transformer架构补充内容-腾讯云开发者社区-腾讯云

【从函数到 Transformer 系列 05】Transformer架构补充内容

【从函数到 Transformer 系列 05】Transformer架构补充内容

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐