# 人工智能之核心技术 深度学习

第五章 Transformer模型


---
# 前言：Transformer 模型 —— 现代深度学习核心架构

自 2017 年 Google 提出 **Transformer** 以来，它彻底重塑了自然语言处理（NLP）乃至整个深度学习领域。凭借其强大的**并行化能力**和**长距离依赖建模能力**，Transformer 不仅取代了 RNN/CNN 成为 NLP 主流架构，还成功跨界到计算机视觉、语音、生物信息学等领域。

本章将带你深入理解 Transformer 的核心机制、代表性预训练模型及其广泛应用。

---

## 一、Transformer 核心机制

### 1.1 为什么需要 Transformer？

RNN/LSTM 虽能建模序列，但存在致命缺陷：

- **无法并行计算**：必须按时间步顺序处理 → 训练慢
- **长距离依赖衰减**：即使有门控，超长序列仍难捕捉

CNN 虽可并行，但感受野有限，需堆叠多层才能覆盖全局。

> ✅ **Transformer 的突破**：
> **完全基于注意力机制**，抛弃循环和卷积，实现**全局依赖建模 + 完全并行化**

---

### 1.2 自注意力机制（Self-Attention）

#### 核心思想：

> “每个词都应该关注句子中所有其他词，以确定自己的含义。”

例如：

> “**他**把**书**送给了**她**。”
> 
> - “他” 需关注 “送” 和 “她” 才知是施事者
> - “她” 需关注 “送” 和 “他” 才知是受事者

#### 数学实现（Scaled Dot-Product Attention）：

对输入序列 $X \in \mathbb{R}^{n \times d}$（n 个词，d 维向量）：

1. **线性变换生成 Q, K, V**：
 
 $$
 Q = XW_Q,\quad K = XW_K,\quad V = XW_V
 $$
 
 - $Q$（Query）：当前词的“查询向量”
 - $K$（Key）：其他词的“键向量”
 - $V$（Value）：其他词的“值向量”
2. **计算注意力权重**：
 
 $$
 \text{Attention}(Q, K, V) = \text{softmax}\left( \frac{QK^T}{\sqrt{d_k}} \right) V
 $$
 
 - $QK^T$：衡量词与词的相关性
 - $\sqrt{d_k}$：缩放因子，防止 softmax 梯度消失
3. **输出**：加权和的上下文表示

```mermaid
graph LR
 X[Input Sequence] --> LinearQ[Linear W_Q]
 X --> LinearK[Linear W_K]
 X --> LinearV[Linear W_V]
 LinearQ --> Q
 LinearK --> K
 LinearV --> V
 Q --> Dot[Q·K^T / √d]
 K --> Dot
 Dot --> Softmax
 Softmax --> Weighted[Weighted Sum]
 V --> Weighted
 Weighted --> Output
```

> 💡 **优势**：
> 
> - 任意两词直接交互（路径长度=1）
> - 完全并行（矩阵运算）
> - 可解释性强（可视化注意力权重）

---

### 1.3 多头注意力（Multi-Head Attention）

单头注意力可能只关注一种关系（如语法主谓）。**多头机制**让模型同时学习多种子空间表示。

- 将 $Q, K, V$ 投影到 $h$ 个子空间（如 h=8）
- 每个头独立计算注意力
- 拼接结果并线性变换：

$$
\text{MultiHead}(Q,K,V) = \text{Concat}(\text{head}_1, ..., \text{head}_h) W^O
$$

> ✅ **效果**：相当于集成多个注意力专家，提升模型表达能力。

---

### 1.4 位置编码（Positional Encoding）

RNN 天然有序，但 Transformer 并行处理 → **丢失时序信息**！

解决方案：**显式添加位置编码**到词向量中。

常用 **正弦位置编码**（无需学习）：

$$
PE_{(pos, 2i)} = \sin\left(\frac{pos}{10000^{2i/d}}\right), \quad
PE_{(pos, 2i+1)} = \cos\left(\frac{pos}{10000^{2i/d}}\right)
$$

- $pos$：词在序列中的位置
- $i$：维度索引

> 🔁 **特点**：可泛化到比训练时更长的序列！

---

### 1.5 编码器-解码器结构

原始 Transformer 用于**机器翻译**，包含：

#### （1）编码器（Encoder）

- 6 个相同层堆叠
- 每层含：
 - **多头自注意力**
 - **前馈神经网络（FFN）**
 - **残差连接 + LayerNorm**

#### （2）解码器（Decoder）

- 6 个相同层堆叠
- 每层含：
 - **掩码多头自注意力**（防止看到未来词）
 - **编码器-解码器注意力**（关注源句）
 - **FFN + 残差 + LayerNorm**

```mermaid
flowchart TB
 subgraph Encoder
 E1["Input Embed + PE"] --> E2["Multi-Head Self-Attn"]
 E2 --> E3["Add & Norm"]
 E3 --> E4["FFN"]
 E4 --> E5["Add & Norm"]
 E5 --> E6["... ×6"]
 end

 subgraph Decoder
 D1["Target Embed + PE"] --> D2["Masked Multi-Head Self-Attn"]
 D2 --> D3["Add & Norm"]
 D3 --> D4["Multi-Head Attn (with Encoder Output)"]
 D4 --> D5["Add & Norm"]
 D5 --> D6["FFN"]
 D6 --> D7["Add & Norm"]
 D7 --> D8["... ×6"]
 end

 E6 --> D4
 D8 --> Output["Linear + Softmax"]
```

> ⚠️ **注意**：BERT 只用编码器，GPT 只用解码器！

---

## 二、预训练模型与范式

### 2.1 预训练-微调范式（Pretrain-Finetune）

1. **预训练（Pretraining）**：
 
 - 在大规模无标签语料上训练（如 Wikipedia + BookCorpus）
 - 学习通用语言表示
2. **微调（Finetuning）**：
 
 - 在特定下游任务（如情感分析）的小数据集上继续训练
 - 通常只需加一个简单分类头

> ✅ **优势**：小数据也能取得 SOTA 效果！

---

### 2.2 BERT（Bidirectional Encoder Representations from Transformers）

- **架构**：12/24 层 Transformer 编码器
- **预训练任务**：
 
 1. **Masked Language Model (MLM)**：随机遮盖 15% 词，预测原词 → **双向上下文**
 2. **Next Sentence Prediction (NSP)**：判断两句话是否连续
- **适用任务**：理解类（问答、分类、NER）

```python
# Hugging Face 使用示例
from transformers import BertTokenizer, BertModel

tokenizer = BertTokenizer.from_pretrained('bert-base-uncased')
model = BertModel.from_pretrained('bert-base-uncased')

inputs = tokenizer("Hello, how are you?", return_tensors="pt")
outputs = model(**inputs)
last_hidden_states = outputs.last_hidden_state # [1, seq_len, 768]
```

---

### 2.3 GPT（Generative Pre-trained Transformer）

- **架构**：多层 Transformer 解码器（无编码器-解码器注意力）
- **预训练任务**：**自回归语言建模**
 $ P(w_t | w_1, ..., w_{t-1}) $
- **特点**：只能看到左侧上下文 → **天然适合文本生成**

> 📈 GPT-3（175B 参数）、GPT-4 推动大模型时代

---

### 2.4 优化模型

| 模型 | 改进点 | 目标 |
|------|--------|------|
| **RoBERTa** | 移除 NSP，更大 batch，动态 masking | 提升 BERT 性能 |
| **DistilBERT** | 知识蒸馏，保留 97% 性能，速度×2 | 模型压缩 |
| **ALBERT** | 参数共享 + 因式分解 embedding | 减少参数量 |
| **T5** | 统一所有 NLP 任务为“文本到文本” | 通用框架 |

---

## 三、Transformer 应用

### 3.1 自然语言处理（NLP）

| 任务 | 模型选择 | 说明 |
|------|--------|------|
| **文本分类** | BERT / DistilBERT | 加分类头微调 |
| **问答系统** | BERT / RoBERTa | 预测答案起止位置 |
| **机器翻译** | Transformer (原始) / mBART | 编码器-解码器架构 |
| **命名实体识别（NER）** | BERT + CRF | 序列标注 |
| **文本生成** | GPT-2/3/4, LLaMA | 自回归生成 |

---

### 3.2 计算机视觉：Vision Transformer (ViT)

Dosovitskiy et al. (2020) 提出：**图像也能用 Transformer！**

#### 核心思想：

1. 将图像切分为固定大小 patch（如 16×16）
2. 每个 patch 展平 + 线性嵌入 → 视为“词”
3. 添加位置编码 → 输入标准 Transformer 编码器

```mermaid
graph LR
 Image["224x224 Image"] --> Split["Split into 14x14 patches\n(16x16 each)"]
 Split --> Flatten["Flatten each patch → 768-dim"]
 Flatten --> AddPos["Add Positional Encoding"]
 AddPos --> Transformer["Transformer Encoder"]
 Transformer --> ClassToken["Class Token Output"]
 ClassToken --> Classifier["MLP Head → Prediction"]

```

> ✅ **效果**：在大数据集（如 ImageNet-21k）上超越 CNN！

---

## 四、配套代码实现（从零构建简化 Transformer）

```python
import torch
import torch.nn as nn
import math

class PositionalEncoding(nn.Module):
 def __init__(self, d_model, max_len=5000):
 super().__init__()
 pe = torch.zeros(max_len, d_model)
 position = torch.arange(0, max_len, dtype=torch.float).unsqueeze(1)
 div_term = torch.exp(torch.arange(0, d_model, 2).float() * (-math.log(10000.0) / d_model))
 pe[:, 0::2] = torch.sin(position * div_term)
 pe[:, 1::2] = torch.cos(position * div_term)
 self.register_buffer('pe', pe)

 def forward(self, x):
 # x: [batch, seq_len, d_model]
 x = x + self.pe[:x.size(1), :]
 return x

class MultiHeadAttention(nn.Module):
 def __init__(self, d_model, num_heads):
 super().__init__()
 assert d_model % num_heads == 0
 self.d_k = d_model // num_heads
 self.num_heads = num_heads
 self.q_linear = nn.Linear(d_model, d_model)
 self.k_linear = nn.Linear(d_model, d_model)
 self.v_linear = nn.Linear(d_model, d_model)
 self.out = nn.Linear(d_model, d_model)

 def forward(self, q, k, v, mask=None):
 bs = q.size(0)
 # Linear projections
 q = self.q_linear(q).view(bs, -1, self.num_heads, self.d_k).transpose(1, 2)
 k = self.k_linear(k).view(bs, -1, self.num_heads, self.d_k).transpose(1, 2)
 v = self.v_linear(v).view(bs, -1, self.num_heads, self.d_k).transpose(1, 2)

 # Scaled dot-product attention
 scores = torch.matmul(q, k.transpose(-2, -1)) / math.sqrt(self.d_k)
 if mask is not None:
 scores = scores.masked_fill(mask == 0, -1e9)
 attn = torch.softmax(scores, dim=-1)
 out = torch.matmul(attn, v)
 out = out.transpose(1, 2).contiguous().view(bs, -1, self.num_heads * self.d_k)
 return self.out(out)

class TransformerEncoderLayer(nn.Module):
 def __init__(self, d_model, num_heads, d_ff=2048, dropout=0.1):
 super().__init__()
 self.self_attn = MultiHeadAttention(d_model, num_heads)
 self.norm1 = nn.LayerNorm(d_model)
 self.norm2 = nn.LayerNorm(d_model)
 self.ff = nn.Sequential(
 nn.Linear(d_model, d_ff),
 nn.ReLU(),
 nn.Dropout(dropout),
 nn.Linear(d_ff, d_model)
 )
 self.dropout = nn.Dropout(dropout)

 def forward(self, x, mask=None):
 # Self-attention + residual
 attn_out = self.self_attn(x, x, x, mask)
 x = self.norm1(x + self.dropout(attn_out))
 # Feed-forward + residual
 ff_out = self.ff(x)
 x = self.norm2(x + self.dropout(ff_out))
 return x

# 使用示例
encoder_layer = TransformerEncoderLayer(d_model=512, num_heads=8)
x = torch.randn(32, 20, 512) # batch=32, seq_len=20, d_model=512
pos_enc = PositionalEncoding(512)
x = pos_enc(x)
output = encoder_layer(x)
print(output.shape) # torch.Size([32, 20, 512])
```

---

## 五、总结与演进路线

```mermaid
graph LR
 A[RNN/LSTM] -->|并行差、长程弱| B[Transformer 2017]
 B --> C[BERT 2018 （理解）]
 B --> D[GPT 2018 （生成）]
 C --> E[RoBERTa/DistilBERT]
 D --> F[GPT-2/3/4]
 B --> G[ViT 2020 （视觉）]
 B --> H[DETR （目标检测）]
 B --> I[SpeechFormer （语音）]
```

> ✅ **现代实践建议**：
> 
> - NLP 理解任务 → **BERT / RoBERTa**
> - NLP 生成任务 → **GPT / LLaMA**
> - 视觉任务 → **ViT / Swin Transformer**
> - 快速部署 → **DistilBERT / TinyBERT**


# 资料关注

公众号：咚咚王


《Python编程：从入门到实践》
《利用Python进行数据分析》
《算法导论中文第三版》
《概率论与数理统计（第四版） (盛骤) 》
《程序员的数学》
《线性代数应该这样学第3版》
《微积分和数学分析引论》
《（西瓜书）周志华-机器学习》
《TensorFlow机器学习实战指南》
《Sklearn与TensorFlow机器学习实用指南》
《模式识别（第四版）》
《深度学习 deep learning》伊恩·古德费洛著 花书
《Python深度学习第二版(中文版)【纯文本】 (登封大数据 (Francois Choliet)) (Z-Library)》
《深入浅出神经网络与深度学习+(迈克尔·尼尔森（Michael+Nielsen）》
《自然语言处理综论 第2版》
《Natural-Language-Processing-with-PyTorch》
《计算机视觉-算法与应用(中文版)》
《Learning OpenCV 4》
《AIGC：智能创作时代》杜雨+&+张孜铭
《AIGC原理与实践：零基础学大语言模型、扩散模型和多模态模型》
《从零构建大语言模型（中文版）》
《实战AI大模型》
《AI 3.0》

自 2017 年 Google 提出 Transformer 以来，它彻底重塑了自然语言处理（NLP）乃至整个深度学习领域。凭借其强大的并行化能力和长距离依赖建模能力，Transformer 不仅取代了 RNN/CNN 成为 NLP 主流架构，还成功跨界到计算机视觉、语音、生物信息学等领域。

人工智能之核心技术 深度学习 第五章 Transformer模型

技术岗

人工智能

算法

后端

Transformer模型是深度学习的革命性架构，通过自注意力机制实现全局依赖建模和并行计算。本章详解Transformer核心原理、BERT/GPT等预训练模型及其在NLP、计算机视觉等领域的应用，提供从零构建Transformer的代码实现，帮助掌握这一AI核心技术。

自然语言处理

计算机视觉

机器翻译

智能创作

机器学习

深度学习

数据分析

大数据

Python

4核4G3M云服务器 新用户低至38元/年！

文章

问答

视频

教程

学习中心

腾讯云实验室

直播

竞赛

腾讯云代码分析专区

腾讯iOA零信任安全管理系统专区

腾讯云架构师技术同盟交流圈

腾讯云数据库专区

腾讯云智能顾问专区

腾讯云原生专区

腾讯混元专区

腾讯云TCE专区

腾讯云Lighthouse专区

腾讯云HAI专区

腾讯云Edgeone专区

腾讯云存储专区

腾讯云智能专区

腾讯轻联专区 

腾讯云开发专区

TAPD专区

腾讯轻量云游戏服专区

EdgeOne AI 安全实战专区

腾讯云最具价值专家

腾讯云架构师技术同盟

腾讯云创作之星

腾讯云开发者先锋

腾讯云代码助手

云原生构建

TAPD 敏捷项目管理

Cloud Studio

SDK中心

API中心

命令行工具

涵盖代码开发、场景应用、自动测试全流程，助你从零构建专属AI助手

一站式MCP教程库，解锁AI应用新玩法

聚焦“写作效率、视觉美观与运行性能”三方面进行全面升级，为您提供更高效、稳定的创作环境

社区富文本&Markdown编辑器全新改版上线，欢迎大家体验!

诚挚邀请您参与本次调研，分享您的真实使用感受与建议。您的反馈至关重要，感谢您的支持与参与！

社区新版编辑器体验调研

人工智能之核心技术 深度学习 第五章 Transformer模型-腾讯云开发者社区-腾讯云

人工智能之核心技术深度学习第五章 Transformer模型

人工智能之核心技术深度学习第五章 Transformer模型

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐

人工智能之核心技术 深度学习 第五章 Transformer模型

人工智能之核心技术 深度学习 第五章 Transformer模型

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐

人工智能之核心技术深度学习第五章 Transformer模型

人工智能之核心技术深度学习第五章 Transformer模型