《IE大讲堂》第三期：BP神经网络

2018年11月7日晚18:00，工业工程所纵向团队在机械楼D526学术报告厅举办了《IE大讲堂》第三期讲座，本期讲座的主题是：BP神经网络，主讲人是研究生二年级学生曹航，曹航同学在本科期间多次代表学校参加省级国家级数学建模比赛，获得了良好的成绩，在数学建模和MATLAB使用以及神经网络上，有深刻的学习体会。

讲座主要从以下几个方面来介绍了什么BP神经网络，以及如何构造自己第一个神经网络模型。

一、什么是BP神经网络

BP—back propagation既：逆向传播，BP神经网络是一种可以逆向传播并减小误差的神经网络。主要由三个过程组成，分别是：正向传播过程、逆向减少误差过程（BP）、超参数与梯度下降过程。

典型的神经网络结构包括了一个输入层（input layer）、一个或多个隐藏层（hidden layer）以及一个输出层（output layer），结构图如下。若隐藏层较少（一般小于3层）则称为浅层神经网络（shallow neural network）,若隐藏层很多则称为深度神经网络（deep neural network），根据设计的不同目的，BP神经网络的隐藏层各不相同。

二、神经网络的组成单元—神经元

神经网络是由一系列的神经元组成，如下图所示的是神经元的结构图。

图中_是该神经元权值；神经元阈值y是该神经元输出值神经元输出，f()是激活函数，可以S函数（Sigmoid函数）、阶跃函数等。

三、向量化

曹航介绍到在神经网络的计算中，尽量避免使用for循环，使用向量相乘的方法，更为优秀。实验证明，当权重w_i为10时，输入层为10个时，使用向量计算的速度要比使用for循环快100倍，且方法简单高效。曹航提到使用向量化计算，要在python语言的tensorflow框架下完成。

四、逆向传播过程

BP神经网络特点是可以逆向传播并减小误差的神经网络。在正向传播过程中，我们求出的y为预测值，预测值与真实值之间是存在误差的，若要减小预测值与实际值的差值，则需要定义损失函数L(x），衡量预测值与实际值的距离。常用的损失函数为：logistic损失函数；logistic损失函数微分后图形为凹，有着极佳的梯度，且不会陷入局部最优。

曹航同学以简化神经网络为例，

介绍了建立完整收敛过程如下如图所示。

总结

本次讲座的主要目的主要包括两方面：第一方面是对研一新生进行BP神经网络的入门介绍以及学习，通过主讲老师的讲解和互动，提高大家对神经网路ode认识；第二方面是，通过此次讲座，构建一个学习交流的平台，让大家积极投入到学术研究中。通过曹航同学对BP神经网络讲解，让我们了解到了BP神经网络的结构，以及神经网络的正向传播过程、逆向传播过程以及了解了梯度下降的了解。

附件：学习资料下载

https://pan.baidu.com/s/1cq6Vn0VBQ7-ysyBARu307A

无论是风里，还是在雨里，我都在这里守候着你～