深度神经网络之前向传播算法

1.深度神经网络简介

深度神经网络(Deep Neural Networks,DNN)从字面上理解,也就是深层次的神经网络,从网络结构上看来就是有多个隐含层的神经网络。深度神经网络不仅能够用于分类和回归,在降维、聚类、语音识别、图像识别方面也有许多应用。由于神经网络内容较多,将分多次写作,本次主要讲解深度神经网络中的前向传播算法,后续还有反向传播算法、损失函数和激活函数、正则化。

2.从感知机到神经网络

机器学习之Logistic回归

之中,我们利用过感知机的模型。如下图所示,也就是有若干个输入和一个输出的感知机模型。

感知机通过输入和输出学习得到一个线性模型,得到中间输出结果z。然后利用激活函数,从而得到我们希望的结果,例如1或-1。

上述模型只能用于二元分类,且无法学习比较复杂的非线形模型。而神经网络则是在感知机的模型上做扩展,主要增加以下三点。

增加隐含层:如下图所示,隐含层可以有多层,增加模型的表达能力。当然隐含层增加,模型的复杂度也就会增加。

输出层的神经元可以有多个输出:这样模型便能够灵活的应用于分类和回归,以及其他的机器学习领域,比如降维和聚类。如下图所示,输出层有4个神经元。

扩展激活函数:感知机的激活函数sign(z)处理能力有限,因此神经网络一般使用其他激活函数,比如我们在逻辑回归里面使用的Sigmoid函数。当然还有tanx,softmax,ReLU等激活函数,通过使用不同的激活函数,神经网络的表达能力也就不同,对于各种常用的激活函数,我们在后面会进行专门介绍。

3.DNN基本结构

从DNN按照不同层的位置来划分,DNN内部的神经网络层可以分为三类,分别是输入层、隐含层、输出层。如下图所示,一般来说第一层是输入层,最后一层是输出层,而中间的层数都是隐含层。

DNN的层与层之间是全连接的,也就是说,第i层的任意一个神经元一定与第i+1层的任意一个神经元相连。虽然DNN看起来复杂,但是从局部模型来说,还是和感知机相同,即线性关系z加上激活函数σ(z)。由于DNN层数较多,那么线性关系系数w和偏移量b也就很多。但具体的参数在DNN之中如何定义呢?

4.DNN前向传播算法的数学原理

我们已经了解DNN中线性关系系数w和偏倚量b的定义。现在假设选择的激活函数是σ(z),隐含层和输出层的输出值为a。则对于下述的三层DNN,我们利用和感知机一样的思路,将上一层的输出当作下一层的输入,然后计算下一层的输出,重复下去,也就是DNN的前向传播算法。

5.DNN前向传播算法

DNN前向传播算法也就是利用若干个权重系数矩阵W,偏倚向量$b$,输入值向量x进行一系列线形运算和激活运算。从输入层开始,一层层的向后进行运算,直到运算到输出层,得到输出结果为止。

单独看DNN前向传播算法,通过运算之后,得到的结果并没有什么意义,误差似乎特别大。而且怎么得到初始的矩阵W,偏倚向量b,最优的矩阵W,偏倚向量b呢?下篇文章将通过深度神经网络之反向传播算法来解决这些问题。

参考

刘建平Pinard_深度神经网络(DNN)模型与前向传播算法

  • 发表于:
  • 原文链接https://kuaibao.qq.com/s/20180627G1EJWW00?refer=cp_1026
  • 腾讯「云+社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。
  • 如有侵权,请联系 yunjia_community@tencent.com 删除。

扫码关注云+社区

领取腾讯云代金券