AI 入行那些事儿（6）深度学习之神经网络

2021 开年巨献 —— 系列文章《AI 入行那些事儿》，为您讲述：

• 人工智能的基础原理、发展历程、当前应用
• 成为 AI 技术人员所需的入门技能和学习途径
• 以及求职、面试的全过程

神经网络的起源

现在的深度学习就是利用深度神经网络来进行模型训练。深度神经网络是神经网络的延续，而神经网络在几十年前则是一种机器学习模型。

后来神经网络独立出来发展成深度神经网络，发挥了很大作用，并因此逐渐成为深度学习的独立分支。

神经网络模型和其它模型不太一样，大多数其它模型都源于数学。比如：线性回归模型，最早由高斯发现并提出，并用来进行人口统计。马尔萨斯在《人口论》里就曾经引用过这种模型，后来又对其进行了一些修正，逐步形成了现在的逻辑回归模型。

神经网络模型首先是由生物学界提出的，它的研究和发展也是以对生物神经网络的模仿为基础的。

神经网络的要素

神经网络由很多神经元组成，这些神经元互相连接，形成一个网络。下图就是一个神经网络的典型结构，也是一种很传统的结构。

神经网络的输入层一般不计入总层数，所以神经网络只有两层。在这两层中有六个神经元，中间的隐藏层里有四个，最后的输出层有两个，神经元之间有方向地全连接。

每一个神经元都会对数据进行两步运算，第一步是把上一层神经网络的所有输入做线性加权，第二步是对线性加权的结果做非线性转换，这一步用到的函数被称为神经元的激活函数。

下图里列出了几种激活函数，其中最传统的一种叫Logistic函数，又称sigmoid函数，其实就是逻辑回归的模型函数。

深度神经网络的发展

神经网络的网络结构包括层数、每层的神经元个数以及是否全连接等。神经元不同、网络结构不同，神经网络也就不同，可以说神经元和网络结构定义了神经网络。

有一段时间，人们在研究深度学习的时候，非常重视网络的层数。下图是一个用于图像处理的神经网络：

2012年的时候，这个网络有八层，到2013年变成了九层，2014年变成了十九层，到2015年则达到了152层。

CNN，RNN，LSTM等

神经元的连接方式不同，神经网络也不同。即便是在全连接的情况下，输入数据加权之后的非线性处理方式也可能五花八门。

上图中是目前很热门的卷积神经网络，它的非线性处理算法是卷积。卷积和传统的神经网络里的非线性转换有很大差别，是指用一个小矩阵在一个大矩阵上做加权求和，然后把大矩阵再转换成一个小矩阵。

而传统的线性转换是把输入加权后直接代入某个函数中去运算，用这两种算法分别算出来的结果必然大相径庭。

区分不同的神经网络，最重要的是神经元。上图中列出了三种神经元。

最左边的是传统神经网络中的神经元，只有一步非线性运算，中间是GRU——GRU是RNN类型的一种，右边的是LSTM。

GRU和LSTM一般用于序列预测，都是目前常用的深度神经网络。方框代表一个神经元，带箭头的线代表输入和输出。

方框中每个不同颜色和不同性质的图形都代表一种运算。从图上可以看出，RNN神经元和LSTM神经元非常复杂。

这种复杂性能让神经网络不需要太多的层数，就能拥有非常强大的数据处理能力。