神经网络初步与反向传播算法

层数表示

输入数据的层叫输入层(input layer) 输出结果的层叫输出层(output layer) 除了这两层之外的层都叫隐藏层(hidden layer)

激活函数

表示方法denote

如图所示，输入层有10个节点（加上偏差结点共11个），隐藏层有10个节点（加上偏差结点共11个），输出层有1个节点，则每一层的权重矩阵维度如图所示。

(不过通常，在输入层和隐藏层会加入一个额外节点x0​,a0​，称为偏差结点，这里没有画出。)

代价函数 costfunction

神经网络的代价函数跟逻辑回归的代价函数十分相似。

虽然看上去有点长，但是结合逻辑回归的代价函数非常好理解，对K个输出节点的输出进行累加，然后再对m个训练集数据的误差进行累加，后面的部分是正则化，对K层中每两层的权重两两进行累加，求平方。

前向传播 forward propagation 过程

如图，除了输入层以外的节点和偏差结点，每个节点的值的计算方式为

其他的除了偏差结点之外的节点，都通过一样的公式得到节点的值。

反向传播算法 Back Propagation

算法流程为：