学习
实践
活动
专区
工具
TVP
写文章

《IE大讲堂》第三期:BP神经网络

2018年11月7日晚18:00,工业工程所纵向团队在机械楼D526学术报告厅举办了《IE大讲堂》第三期讲座,本期讲座的主题是:BP神经网络,主讲人是研究生二年级学生曹航,曹航同学在本科期间多次代表学校参加省级国家级数学建模比赛,获得了良好的成绩,在数学建模和MATLAB使用以及神经网络上,有深刻的学习体会。

讲座主要从以下几个方面来介绍了什么BP神经网络,以及如何构造自己第一个神经网络模型。

一、什么是BP神经网络

BP—back propagation既:逆向传播,BP神经网络是一种可以逆向传播并减小误差的神经网络。主要由三个过程组成,分别是:正向传播过程、逆向减少误差过程(BP)、超参数与梯度下降过程。

典型的神经网络结构包括了一个输入层(input layer)、一个或多个隐藏层(hidden layer)以及一个输出层(output layer),结构图如下。若隐藏层较少(一般小于3层)则称为浅层神经网络(shallow neural network),若隐藏层很多则称为深度神经网络(deep neural network),根据设计的不同目的,BP神经网络的隐藏层各不相同。

二、神经网络的组成单元—神经元

神经网络是由一系列的神经元组成,如下图所示的是神经元的结构图。

图中_是该神经元权值;神经元阈值y是该神经元输出值神经元输出,f()是激活函数,可以S函数(Sigmoid函数)、阶跃函数等。

三、向量化

曹航介绍到在神经网络的计算中,尽量避免使用for循环,使用向量相乘的方法,更为优秀。实验证明,当权重w_i为10时,输入层为10个时,使用向量计算的速度要比使用for循环快100倍,且方法简单高效。曹航提到使用向量化计算,要在python语言的tensorflow框架下完成。

四、逆向传播过程

BP神经网络特点是可以逆向传播并减小误差的神经网络。在正向传播过程中,我们求出的y为预测值,预测值与真实值之间是存在误差的,若要减小预测值与实际值的差值,则需要定义损失函数L(x),衡量预测值与实际值的距离。常用的损失函数为:logistic损失函数;logistic损失函数微分后图形为凹,有着极佳的梯度,且不会陷入局部最优。

曹航同学以简化神经网络为例,

介绍了建立完整收敛过程如下如图所示。

总结

本次讲座的主要目的主要包括两方面:第一方面是对研一新生进行BP神经网络的入门介绍以及学习,通过主讲老师的讲解和互动,提高大家对神经网路ode认识;第二方面是,通过此次讲座,构建一个学习交流的平台,让大家积极投入到学术研究中。通过曹航同学对BP神经网络讲解,让我们了解到了BP神经网络的结构,以及神经网络的正向传播过程、逆向传播过程以及了解了梯度下降的了解。

附件:学习资料下载

https://pan.baidu.com/s/1cq6Vn0VBQ7-ysyBARu307A

无论是风里,还是在雨里,我都在这里守候着你~

  • 发表于:
  • 原文链接https://kuaibao.qq.com/s/20181109B20B9E00?refer=cp_1026
  • 腾讯「腾讯云开发者社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。
  • 如有侵权,请联系 cloudcommunity@tencent.com 删除。

关注

腾讯云开发者公众号
10元无门槛代金券
洞察腾讯核心技术
剖析业界实践案例
腾讯云开发者公众号二维码

扫码关注腾讯云开发者

领取腾讯云代金券