# 人工智能之核心技术 深度学习

第一章 神经网络基础

---

## 一、感知器模型

### 1.1 线性感知器（Perceptron）

**结构**：
线性感知器是最简单的神经网络单元，由 Frank Rosenblatt 在 1957 年提出。它模拟生物神经元：接收多个输入，加权求和后通过一个激活函数输出结果。

数学表达式为：

$$
y = f\left( \sum_{i=1}^{n} w_i x_i + b \right)
$$

其中：

- $x_i$ 是第 $i$ 个输入
- $w_i$ 是对应的权重
- $b$ 是偏置（bias）
- $f(\cdot)$ 是激活函数（感知器中通常为阶跃函数）

**原理**：
感知器试图学习一个线性决策边界（超平面），将两类数据分开。如果数据线性可分，感知器学习算法可以收敛到正确解。

**局限性**：
感知器只能解决**线性可分问题**。经典反例是 **异或（XOR）问题**：

| x₁ | x₂ | XOR |
|----|----|-----|
| 0  | 0  | 0   |
| 0  | 1  | 1   |
| 1  | 0  | 1   |
| 1  | 1  | 0   |

这四点无法用一条直线完全分开（如下图所示），因此单层感知器无法学习 XOR。

```mermaid
graph LR
    A[x1] --> P[Perceptron]
    B[x2] --> P
    P --> C[y]
```

> 💡 **关键结论**：单层感知器 = 线性分类器 → 无法处理非线性问题。

---

### 1.2 多层感知器（MLP, Multi-Layer Perceptron）

为了解决感知器的局限性，人们引入了**隐藏层**，形成了多层感知器（MLP）。

- **结构**：输入层 → 一个或多个隐藏层 → 输出层
- **核心思想**：通过堆叠非线性变换，组合出复杂的决策边界，从而拟合非线性函数（如 XOR）

**XOR 的 MLP 解决方案**（2 层）：

- 隐藏层有 2 个神经元，分别学习“AND”和“OR”逻辑
- 输出层组合它们实现 XOR

```mermaid
graph LR
    x1 --> h1
    x1 --> h2
    x2 --> h1
    x2 --> h2
    h1 --> y
    h2 --> y
```

> ✅ **突破**：MLP + 非线性激活函数 → 可以逼近任意连续函数（万能近似定理）

---

## 二、激活函数

激活函数赋予神经网络**非线性表达能力**。如果没有激活函数，无论多少层，网络都等价于一个线性模型。

### 常见激活函数对比

| 激活函数 | 公式 | 优点 | 缺点 | 适用场景 |
|--------|------|------|------|--------|
| **Sigmoid** | $ \sigma(x) = \frac{1}{1 + e^{-x}} $ | 输出在 (0,1)，适合概率输出 | 梯度消失、输出非零中心 | 二分类输出层 |
| **Tanh** | $ \tanh(x) = \frac{e^x - e^{-x}}{e^x + e^{-x}} $ | 零中心、比 Sigmoid 梯度更强 | 仍存在梯度消失 | 隐藏层（早期） |
| **ReLU** | $ \text{ReLU}(x) = \max(0, x) $ | 计算快、缓解梯度消失 | “神经元死亡”（负区梯度为0） | 默认隐藏层激活函数 |
| **Leaky ReLU** | $ \text{LReLU}(x) = \begin{cases} x & x > 0 \\ \alpha x & x \leq 0 \end{cases} $ | 解决 ReLU 死亡问题 | 需调超参 $\alpha$ | ReLU 的改进版 |
| **Softmax** | $ \text{Softmax}(z_i) = \frac{e^{z_i}}{\sum_j e^{z_j}} $ | 多分类概率归一化 | 仅用于输出层 | 多分类任务输出层 |

### 激活函数图像（示意）

![](https://developer.qcloudimg.com/http-save/yehe-11885981/fb74d8785130f3fcad6f4c66614e4d29.png)

> 📌 **现代实践建议**：
> 
> - 隐藏层优先使用 **ReLU** 或 **Leaky ReLU**
> - 二分类输出用 **Sigmoid**
> - 多分类输出用 **Softmax**

---

## 三、神经网络结构设计

### 3.1 各层作用

| 层类型 | 作用 |
|-------|------|
| **输入层** | 接收原始特征（如像素值、文本向量），不做计算，仅传递 |
| **隐藏层** | 提取特征、学习数据的抽象表示（层数越多，抽象能力越强） |
| **输出层** | 生成最终预测（分类概率、回归值等），激活函数依任务而定 |

### 3.2 设计原则

#### （1）隐藏层数量

- **浅层网络**（1~2 层）：适用于简单任务、小数据集
- **深层网络**（>3 层）：适用于复杂任务（图像、语音），但需足够数据和正则化

> ⚠️ 并非越深越好！过深可能导致：
> 
> - 梯度消失/爆炸
> - 过拟合
> - 训练困难

#### （2）每层神经元数量

- 输入层神经元数 = 特征维度
- 输出层神经元数 = 类别数（分类）或 1（回归）
- 隐藏层神经元数：经验法则
  - 通常介于输入与输出之间
  - 常用：$ N_h = \frac{N_{in} + N_{out}}{2} $ 或 $ N_h = \sqrt{N_{in} \times N_{out}} $
  - 也可采用“金字塔”结构（逐层减少）

> 🔧 **实用技巧**：
> 
> - 从简单结构开始（如 1 隐藏层，64 神经元）
> - 用验证集调参（Grid Search / Random Search）
> - 使用 Dropout、BatchNorm 提升泛化

---

## 四、配套代码实现（PyTorch）

以下是一个完整的 MLP 实现，用于解决 XOR 问题：

```python
import torch
import torch.nn as nn
import torch.optim as optim

# XOR 数据
X = torch.tensor([[0, 0],
                  [0, 1],
                  [1, 0],
                  [1, 1]], dtype=torch.float32)
y = torch.tensor([[0], [1], [1], [0]], dtype=torch.float32)

# 定义 MLP 模型
class XOR_MLP(nn.Module):
    def __init__(self):
        super().__init__()
        self.hidden = nn.Linear(2, 4)      # 输入2维，隐藏层4神经元
        self.output = nn.Linear(4, 1)      # 输出1维
        self.relu = nn.ReLU()
        self.sigmoid = nn.Sigmoid()        # 二分类输出

    def forward(self, x):
        x = self.relu(self.hidden(x))
        x = self.sigmoid(self.output(x))
        return x

# 实例化模型、损失函数、优化器
model = XOR_MLP()
criterion = nn.BCELoss()               # 二元交叉熵
optimizer = optim.SGD(model.parameters(), lr=0.1)

# 训练
for epoch in range(1000):
    optimizer.zero_grad()
    pred = model(X)
    loss = criterion(pred, y)
    loss.backward()
    optimizer.step()

    if epoch % 200 == 0:
        print(f"Epoch {epoch}, Loss: {loss.item():.4f}")

# 测试
with torch.no_grad():
    output = model(X)
    print("\n预测结果:")
    for i in range(4):
        print(f"输入: {X[i].tolist()} -> 预测: {output[i].item():.4f} (真实: {y[i].item()})")
```

**输出示例**：

```
Epoch 0, Loss: 0.7032
Epoch 200, Loss: 0.0321
...
预测结果:
输入: [0.0, 0.0] -> 预测: 0.0123 (真实: 0.0)
输入: [0.0, 1.0] -> 预测: 0.9876 (真实: 1.0)
...
```

✅ 成功解决 XOR！

---

## 五、万能近似定理（Universal Approximation Theorem）

> **定理**：一个具有**单隐藏层**和**足够多神经元**的前馈神经网络，只要使用**非线性激活函数**，就可以以任意精度逼近任何定义在紧集上的连续函数。

这意味着：**理论上，一个隐藏层就足够强大**。但实践中，深层网络更高效（用更少参数表达复杂函数）。

---

## 总结

| 概念 | 关键点 |
|------|--------|
| 感知器 | 线性模型，无法解决 XOR |
| MLP | 引入隐藏层 + 非线性激活 → 解决非线性问题 |
| 激活函数 | 赋予非线性能力，ReLU 是默认选择 |
| 网络结构 | 输入→隐藏→输出；深度/宽度需平衡 |

---

# 资料关注

公众号：咚咚王


《Python编程：从入门到实践》
《利用Python进行数据分析》
《算法导论中文第三版》
《概率论与数理统计（第四版） (盛骤) 》
《程序员的数学》
《线性代数应该这样学第3版》
《微积分和数学分析引论》
《（西瓜书）周志华-机器学习》
《TensorFlow机器学习实战指南》
《Sklearn与TensorFlow机器学习实用指南》
《模式识别（第四版）》
《深度学习 deep learning》伊恩·古德费洛著 花书
《Python深度学习第二版(中文版)【纯文本】 (登封大数据 (Francois Choliet)) (Z-Library)》
《深入浅出神经网络与深度学习+(迈克尔·尼尔森（Michael+Nielsen）》
《自然语言处理综论  第2版》
《Natural-Language-Processing-with-PyTorch》
《计算机视觉-算法与应用(中文版)》
《Learning OpenCV 4》
《AIGC：智能创作时代》杜雨+&+张孜铭
《AIGC原理与实践：零基础学大语言模型、扩散模型和多模态模型》
《从零构建大语言模型（中文版）》
《实战AI大模型》
《AI 3.0》

结构：线性感知器是最简单的神经网络单元，由 Frank Rosenblatt 在 1957 年提出。它模拟生物神经元：接收多个输入，加权求和后通过一个激活函数输出结果。

人工智能之核心技术 深度学习 第一章 神经网络基础

技术岗

人工智能

算法

编程语言

深度学习基础：从感知器到多层神经网络，详解激活函数选择与网络结构设计。掌握线性/非线性分类原理，了解ReLU、Sigmoid等激活函数特性，学习XOR问题的MLP解决方案。包含PyTorch代码实现，助你快速入门神经网络建模与训练技巧。

自然语言处理

计算机视觉

智能创作

机器学习

深度学习

大数据

Python

bigdata-class

ai-class

文章

问答

视频

教程

学习中心

腾讯云实验室

直播

竞赛

腾讯云代码分析专区

腾讯iOA零信任安全管理系统专区

腾讯云架构师技术同盟交流圈

腾讯云数据库专区

腾讯云智能顾问专区

腾讯云原生专区

腾讯混元专区

腾讯云TCE专区

腾讯云Lighthouse专区

腾讯云HAI专区

腾讯云Edgeone专区

腾讯云存储专区

腾讯云智能专区

腾讯轻联专区 

腾讯云开发专区

TAPD专区

腾讯轻量云游戏服专区

腾讯云最具价值专家

腾讯云架构师技术同盟

腾讯云创作之星

腾讯云开发者先锋

腾讯云代码助手

云原生构建

TAPD 敏捷项目管理

Cloud Studio

SDK中心

API中心

命令行工具

涵盖代码开发、场景应用、自动测试全流程，助你从零构建专属AI助手

一站式MCP教程库，解锁AI应用新玩法

聚焦“写作效率、视觉美观与运行性能”三方面进行全面升级，为您提供更高效、稳定的创作环境

社区富文本&Markdown编辑器全新改版上线，欢迎大家体验!

诚挚邀请您参与本次调研，分享您的真实使用感受与建议。您的反馈至关重要，感谢您的支持与参与！

社区新版编辑器体验调研

人工智能之核心技术 深度学习 第一章 神经网络基础-腾讯云开发者社区-腾讯云

人工智能之核心技术深度学习第一章神经网络基础

人工智能之核心技术深度学习第一章神经网络基础

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐

人工智能之核心技术 深度学习 第一章 神经网络基础

人工智能之核心技术 深度学习 第一章 神经网络基础

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐

人工智能之核心技术深度学习第一章神经网络基础

人工智能之核心技术深度学习第一章神经网络基础