李宏毅深度学习之Deep Learning全连接层

2 全连接层

2.1神经网络概念

神经网络(神经网络主要包括输入，隐藏与输出层。其中，隐藏与输出的每个小圆圈表示一个神经元。

下图中红方框里面就是一个neuron(神经元或logisticregression)。

2.2全连接层网络

2.2.1神经元（Neural）概念

每一个神经元都有weight和bias（这是通过训练数据得到的），如下图所示：

一个神经元的输出表示如下图，上标l表示第几层，下标i表示l层的第i个神经元。将l层的神经元统一协作al。

2.2.2权重(weight)概念

两个layer之间的神经元是两两相连的，而神经元与神经元之间是通过权重（weight）连接的，用wlij表示，上标l表示该权重连接了l-1层和l层，而下标表示从神经元j（l-1层）到神经元i（l层）。

2.2.3偏差（bias）概念

偏差用bil表示，指的是第l层的第i个神经元偏差。把这些第l层的所有神经元偏差组合起来就是该层的偏差向量。

2.2.4激活函数的输入

Zil指的是第l层的第i个神经元激活函数的输入，Zl指的是第l层的激活函数的输入。Zil等于前一层中所有的神经元与对应权重的成绩，然后加上偏差。

相应的Zl的计算如下公式所示（用矩阵表示如下）

2.2.5输入输出关系

l层的神经元的输入输出的关系，即：al=sigma(zl)这是把zl里面的每一个元素放入激活函数，成为al。

所以一个完整的全连接层的输入输出关系为