首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >深度神经网络之前向传播算法

深度神经网络之前向传播算法

作者头像
小一
发布2019-08-14 15:45:34
4480
发布2019-08-14 15:45:34
举报
文章被收录于专栏:谓之小一谓之小一
1.深度神经网络简介

深度神经网络(Deep Neural Networks,DNN)从字面上理解,也就是深层次的神经网络,从网络结构上看来就是有多个隐含层的神经网络。深度神经网络不仅能够用于分类和回归,在降维、聚类、语音识别、图像识别方面也有许多应用。由于神经网络内容较多,将分多次写作,本次主要讲解深度神经网络中的前向传播算法,后续还有反向传播算法、损失函数和激活函数、正则化。

2.从感知机到神经网络

机器学习之Logistic回归之中,我们利用过感知机的模型。如下图所示,也就是有若干个输入和一个输出的感知机模型。

感知机通过输入和输出学习得到一个线性模型,得到中间输出结果z。然后利用激活函数,从而得到我们希望的结果,例如1或-1。

上述模型只能用于二元分类,且无法学习比较复杂的非线形模型。而神经网络则是在感知机的模型上做扩展,主要增加以下三点。

  • 增加隐含层:如下图所示,隐含层可以有多层,增加模型的表达能力。当然隐含层增加,模型的复杂度也就会增加。
  • 输出层的神经元可以有多个输出:这样模型便能够灵活的应用于分类和回归,以及其他的机器学习领域,比如降维和聚类。如下图所示,输出层有4个神经元。
  • 扩展激活函数:感知机的激活函数sign(z)处理能力有限,因此神经网络一般使用其他激活函数,比如我们在逻辑回归里面使用的Sigmoid函数。当然还有tanx,softmax,ReLU等激活函数,通过使用不同的激活函数,神经网络的表达能力也就不同,对于各种常用的激活函数,我们在后面会进行专门介绍。

3.DNN基本结构

从DNN按照不同层的位置来划分,DNN内部的神经网络层可以分为三类,分别是输入层、隐含层、输出层。如下图所示,一般来说第一层是输入层,最后一层是输出层,而中间的层数都是隐含层。

DNN的层与层之间是全连接的,也就是说,第i层的任意一个神经元一定与第i+1层的任意一个神经元相连。虽然DNN看起来复杂,但是从局部模型来说,还是和感知机相同,即线性关系z加上激活函数σ(z)。由于DNN层数较多,那么线性关系系数w和偏移量b也就很多。但具体的参数在DNN之中如何定义呢?

4.DNN前向传播算法的数学原理

我们已经了解DNN中线性关系系数w和偏倚量b的定义。现在假设选择的激活函数是σ(z),隐含层和输出层的输出值为a。则对于下述的三层DNN,我们利用和感知机一样的思路,将上一层的输出当作下一层的输入,然后计算下一层的输出,重复下去,也就是DNN的前向传播算法。

5.DNN前向传播算法

DNN前向传播算法也就是利用若干个权重系数矩阵W,偏倚向量$b$,输入值向量x进行一系列线形运算和激活运算。从输入层开始,一层层的向后进行运算,直到运算到输出层,得到输出结果为止。

单独看DNN前向传播算法,通过运算之后,得到的结果并没有什么意义,误差似乎特别大。而且怎么得到初始的矩阵W,偏倚向量b,最优的矩阵W,偏倚向量b呢?下篇文章将通过深度神经网络之反向传播算法来解决这些问题。

参考

刘建平Pinard_深度神经网络(DNN)模型与前向传播算法

你看到的这篇文章来自于公众号「谓之小一」,欢迎关注我阅读更多文章。

本文参与 腾讯云自媒体分享计划,分享自微信公众号。
原始发表:2018-06-27,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 谓之小一 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体分享计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • 2.从感知机到神经网络
  • 3.DNN基本结构
  • 4.DNN前向传播算法的数学原理
  • 5.DNN前向传播算法
相关产品与服务
语音识别
腾讯云语音识别(Automatic Speech Recognition,ASR)是将语音转化成文字的PaaS产品,为企业提供精准而极具性价比的识别服务。被微信、王者荣耀、腾讯视频等大量业务使用,适用于录音质检、会议实时转写、语音输入法等多个场景。
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档