收藏ShowMeAI查看更多精彩内容
本系列为吴恩达老师《深度学习专项课程(Deep Learning Specialization)》学习与总结整理所得,对应的课程视频可以在这里查看。
在ShowMeAI前一篇文章 浅层神经网络 中我们对以下内容进行了介绍:
本篇内容我们将讨论深层神经网络。
我们在前面提到了浅层神经网络,深层神经网络其实就是包含更多隐层的神经网络。下图分别列举了不同深度的神经网络模型结构:
我们会参考「隐层个数」和「输出层」对齐命名。如上图逻辑回归可以叫做1 layer NN,单隐层神经网络可以叫做2 layer NN,2个隐层的神经网络叫做3 layer NN,以此类推。所以当我们提到L layer NN,指的是包含L-1 个隐层的神经网络。
下面我们来了解一下神经网络的一些标记写法。以如下图的4层神经网络为例:
① 总层数用L 表示,L=4
② n^{[l]} 表示第l 层包含的单元个数,l=0,1,\cdots,L
③ 第l 层的激活函数输出用a^{[l]} 表示,a^{[l]}=g^{[l]}(z^{[l]})
④ W^{[l]} 表示第l 层的权重,用于计算z^{[l]}
⑤ 输入x 记为a^{[0]}
⑥ 输出层\hat y 记为a^{[L]}
注意,a^{[l]} 和W^{[l]} 中的上标l 都是从1开始的,l=1,\cdots,L 。
下面我们来推导一下深层神经网络的前向传播计算过程。依旧是上面提到的4层神经网络,我们以其为例来做讲解。
对于单个样本,我们有:
对于m 个训练样本的情况,我们以向量化矩阵形式来并行计算:
以此类推,对于第l 层,其前向传播过程的Z^{[l]} 和A^{[l]} 可以表示为:
其中l=1,\cdots,L
在单个训练样本的场景下,输入x 的维度是(n^{[0]},1) 神经网络的参数W^{[l]} 和b^{[l]} 的维度分别是:
其中,
对应的反向传播过程中的dW^{[l]} 和db^{[l]} 的维度分别是:
正向传播过程中的z^{[l]} 和a^{[l]} 的维度分别是:
对于m 个训练样本,输入矩阵X 的维度是(n^{[0]},m) 。需要注意的是W^{[l]} 和b^{[l]} 的维度与只有单个样本是一致的:
只不过在运算Z^{[l]}=W^{[l]}A^{[l-1]}+b^{[l]} 中,b^{[l]} 会被当成(n^{[l]},m) 矩阵进行运算,这是基于python numpy的广播特性,且b^{[l]} 每一列向量都是一样的。dW^{[l]} 和db^{[l]} 的维度分别与W^{[l]} 和b^{[l]} 的相同。
不过,Z^{[l]} 和A^{[l]} 的维度发生了变化:
当今大家看到的很多AI智能场景背后都是巨大的神经网络在支撑,强大能力很大一部分来源于神经网络足够“深”,也就是说随着网络层数增多,神经网络就更加复杂参数更多,学习能力也更强。下面是一些典型的场景例子说明。
如下图所示的人脸识别场景,训练得到的神经网络,每一层的作用有差别:
可以看出,随着层数由浅到深,神经网络提取的特征也是从边缘到局部特征到整体,由简单到复杂。隐藏层越多,能够提取的特征就越丰富、越复杂,模型的准确率也可能会随之越高。(详细的人脸识别原理可以查看ShowMeAI的文章 CNN应用:人脸识别和神经风格转换 )
语音识别模型也是类似的道理:
神经网络从浅到深,提取的特征从简单到复杂。特征复杂度与神经网络层数成正相关。特征越来越复杂,表达能力和功能也越强。(详细的语音识别原理知识可以查看ShowMeAI的文章 Seq2seq序列模型和注意力机制 )
除学习能力与特征提取强度之外,深层网络还有另外一个优点,就是能够减少神经元个数,从而减少计算量。
下面有一个例子,使用电路理论,计算逻辑输出:
对于这个逻辑运算,如果使用深度网络完成,每层将前一层的两两单元进行异或,最后到一个输出,如下图左边所示。
这样,整个深度网络的层数是log_2(n) (不包含输入层)。总共使用的神经元个数为:
可见,输入个数是n ,这种深层网络所需的神经元个数仅仅是n-1 个。
如果不用深层网络,仅仅使用单个隐藏层,如上右图所示,由于包含了所有的逻辑位(0和1),那么需要的神经元个数O(2^n) 是指数级别的大小。
对于其他场景和问题也一样,处理同样的逻辑问题,深层网络所需的神经元个数比浅层网络要少很多。这也是深层神经网络的优点之一。
尽管深度学习有着非常显著的优势,吴恩达老师还是建议对实际问题进行建模时,尽量先选择层数少的神经网络模型,这也符合奥卡姆剃刀定律(Occam’s Razor)。对于比较复杂的问题,再使用较深的神经网络模型。
下面用流程块图来解释神经网络前向传播和反向传播过程。
如图所示,对于第l 层来说,前向传播过程中,我们有:
反向传播过程中:
上面是第l 层的流程块图,对于神经网络所有层,整体的流程块图前向传播过程和反向传播过程如下所示:
我们继续接着上一部分流程块图的内容,推导神经网络正向传播过程和反向传播过程的具体表达式。
令层数为第l 层,输入是a^{[l-1]} ,输出是a^{[l]} ,缓存变量是z^{[l]} 。其表达式如下:
m 个训练样本的形态下,向量化形式为:
输入是da^{[l]} ,输出是da^{[l-1]} 、dW^{[l]} 、db^{[l]} 。其表达式如下:
由上述第四个表达式可得da^{[l]}=W^{[l+1]T}\cdot dz^{[l+1]} ,将da^{[l]} 代入第一个表达式中可以得到:
该式非常重要,反映了dz^{[l+1]} 与dz^{[l]} 的递推关系。
m 个训练样本的形态下,向量化形式为:
神经网络中有两个大家要重点区分的概念:参数(parameters)和超参数(hyperparameters)。
如何设置最优的超参数是一个比较困难的、需要经验知识的问题。通常的做法是选择超参数一定范围内的值,分别代入神经网络进行训练,测试cost function随着迭代次数增加的变化,根据结果选择cost function最小时对应的超参数值。这类似于机器学习中的实验验证的方法。(关于机器学习的模型评估详见 ShowMeAI文章图解机器学习 | 模型评估方法与准则)
神经网络跟人脑机制到底有什么联系呢?究竟有多少的相似程度?
我们前面看到神经网络实际上可以分成两个部分:前向传播过程和反向传播过程。神经网络的每个神经元采用激活函数的方式,类似于感知机模型。这种模型与人脑神经元是类似的,但是一种非常简化的人脑神经元模型。
人脑神经元可分为树突、细胞体、轴突三部分。树突接收外界电刺激信号(类比神经网络中神经元输入),传递给细胞体进行处理(类比神经网络中神经元激活函数运算),最后由轴突传递给下一个神经元(类比神经网络中神经元输出)。
人脑神经元的结构和处理方式要复杂的多,神经网络模型只是非常简化的模型。
人脑如何进行学习?是否也是通过反向传播和梯度下降算法现在还不清楚,可能会更加复杂。这是值得生物学家探索的事情。