深度学习算法原理——神经网络的基本原理

一、神经网络

1、神经元概述

神经网络是由一个个的被称为“神经元”的基本单元构成，单个神经元的结构如下图所示：

这里写图片描述

这里写图片描述

Sigmoid函数的区间为[0,1]，而tanh函数的区间为[−1,1]。

若是使用sigmoid作为神经元的激活函数，则当神经元的输出为1时表示该神经元被激活，否则称为未被激活。同样，对于激活函数是tanh时，神经元的输出为1时表示该神经元被激活，否则称为未被激活。

2、神经网络

2.1、神经网络的结构

神经网络是由很多的神经元联结而成的，一个简单的神经网络的结构如下图所示：

其中一个神经元的输出是另一个神经元的输入，+1项表示的是偏置项。上图是含有一个隐含层的神经网络模型，L1层称为输入层，L2层称为隐含层，L3层称为输出层。

2.2、神经网络中的参数说明

2.3、神经网络的计算

2.4、其他形式的神经网络模型

上述以单隐层神经网络为例介绍了神经网络的基本结构，在神经网络的结构中，可以包含多个隐含层，神经网络的输出神经单元也可以是多个，如下面的含多隐层多输出单元的神经网络模型：

2.5、神经网络中参数的求解

2.6、神经网络的学习过程

对于神经网络的学过程，大致分为如下的几步：

• 初始化参数，包括权重、偏置、网络层结构，激活函数等等
• 循环计算
  • 正向传播，计算误差
  • 反向传播，调整参数
• 返回最终的神经网络模型

参考文献

1、英文版：UFLDL Tutorial

2、中文版：UFLDL教程