五一充电之卷积神经网络的典型结构

典型的卷积神经网络由卷积层、池化层、全连接层构成。在这里以LeNet5网络来说明，下图是这个网络的结构：

网络的输入为的灰度图像，由3个卷积层，2个池化层，1个全连接层组成。前面两个卷积层后面都有一个池化层。输出层有10个神经元，表示0-9这10个数字。

卷积层

卷积层：顾名思义是卷积神经网络中最为重要的部分，它的主要功能我们可以认为是提取特征，通过卷积核作为滤波器从而进行特征提取。通过将卷积核中的每一个数值和图像中对应的数值成对相乘累加来作为新的特征。

池化层

用于卷积层之间，用于压缩数据和参数量的，简而言之，就是压缩图像，进行下采样。池化包括Max pooling（最大池化） 和 average pooling（平均池化）。

全连接层

类似于传统的神经网络，将相邻两层之间的所有神经元相连，是将上一层得到的输出全部拉平，假设最后一个卷积层的输出为7×7×512，连接此卷积层的全连接层为1×1×4096。目的是利用卷积和池化层得到的高级特征作为新的一维特征，来进行进一步的分类等任务。

《深度学习》之CNN详细目录

以上视频出自《机器学习与应用》作者雷明亲授的31集精品课《深度学习》课程，5.1优惠150元。点击试听前三集：深度学习

第 7 集卷积神经网络1

• 7.1 本集简介
• 7.2 卷积神经网络简介
• 7.3 视觉神经系统的原理
• 7.4 卷积神经网络的核心思想
• 7.5 卷积运算
• 7.6 卷积层的原理
• 7.7 多通道卷积
• 7.8 池化层的原理
• 7.9 全连接层
• 7.10 卷积神经网络的整体结构
• 7.11 训练算法简介
• 7.12 卷积层的反向传播
• 7.13 池化层的反向传播
• 7.14 全连接层的反向传播
• 7.15 完整的反向传播实现
• 7.16 随机梯度下降法
• 7.17 参数初始化
• 7.18 学习率的设定
• 7.19 梯度下降法的改进思路
• 7.20 动量项梯度下降法
• 7.21 AdaGrad算法
• 7.22 RMSProp算法
• 7.23 AdaDelta算法
• 7.24 Adam算法
• 7.25 梯度下降法的改进脉络
• 7.26 迁移学习与fine tune
• 7.27 本集总结

第 8 集卷积神经网络2

• 8.1 本集简介
• 8.2 LeNet网络简介
• 8.3 LeNet网络的结构
• 8.4 AlexNet网络简介
• 8.5 AlexNet网络的主要改进点
• 8.6 VGG网络简介
• 8.7 小尺寸卷积核
• 8.8 VGG网络的结构
• 8.9 GoogLetNet网络简介
• 8.10 Inception模块
• 8.11 1x1卷积
• 8.12 使用1x1卷积进行通道降维的Inception模块
• 8.13 反卷积
• 8.14 用反卷积实现卷积层可视化
• 8.15 卷积神经网络的数学特性
• 8.16 根据卷积结果重构图像
• 8.17 本集总结

第 9 集卷积神经网络3

• 9.1 本集简介
• 9.2 面临的挑战与改进措施
• 9.3 梯度消失问题
• 9.4 退化问题
• 9.5 总体改进思路
• 9.6 卷积层的改进1
• 9.7 1x1卷积
• 9.8 用矩阵乘法实现卷积
• 9.9 池化层的改进
• 9.10 激活函数的改进
• 9.11 损失函数的改进
• 9.12 网络结构的改进
• 9.13 高速公路网络
• 9.14 残差网络
• 9.15 残差网络的分析
• 9.16 全卷积网络
• 9.17 多尺度融合
• 9.18 批量归一化
• 9.19 本集总结

第 10 集卷积神经网络4

• 10.1 本集简介
• 10.2 卷积神经网络应用简介
• 10.3 人脸检测简介
• 10.4 人脸二分类器
• 10.5 滑动窗口技术
• 10.6 分类器级联
• 10.7 Cascade CNN简介
• 10.8 检测算法的流程
• 10.9 检测网络的结构
• 10.10 校准网络的结构
• 10.11 训练算法的流程
• 10.12 检测结果
• 10.13 DenseBox简介
• 10.14 检测算法的流程
• 10.15 网络结构
• 10.16 网络的输出数据与损失函数
• 10.17 MTCNN简介
• 10.18 检测算法的流程
• 10.19 网络结构
• 10.20 人脸识别简介
• 10.21 DeepFace简介
• 10.22 网络结构
• 10.23 DeepID简介
• 10.24 网络结构
• 10.25 DeepID2简介
• 10.26 多任务损失函数
• 10.27 其他人脸识别算法

第 11 集卷积神经网络5

• 11.1 通用目标检测简介
• 11.2 R-CNN简介
• 11.3 检测算法的流程
• 11.4 SPP网络简介
• 11.5 要解决的核心问题
• 11.6 卷积神经网络为什么只能接受固定尺寸的输入
• 11.7 SPP层的原理
• 11.8 检测算法的流程
• 11.9 SPP层不可反向传播的问题
• 11.10 Fast R-CNN简介
• 11.11 网络结构
• 11.12 损失函数与检测算法
• 11.13 Faster R-CNN简介
• 11.14 网络结构
• 11.15 RPN的原理
• 11.16 RPN的网络结构
• 11.17 anchor机制
• 11.18 损失函数与anchor标注
• 11.19 网络的训练
• 11.20 YOLO简介
• 11.21 整体原理
• 11.22 网络的预测数据
• 11.23 网络结构
• 11.24 SSD简介
• 11.25 网络结构
• 11.26 网格划分与默认矩形框
• 11.27 损失函数
• 11.28 图像语义分割简介
• 11.29 FCN简介
• 11.30 网络结构
• 11.31 SegNet简介
• 11.32 编码器-解码器结构
• 11.33 风格迁移简介
• 11.34 风格特征与内容特征
• 11.35 目标函数
• 11.36 优化流程
• 11.37 卷积神经网络应用总结