http://blog.csdn.net/u011239443/article/details/77884830
对应的正向传播公式:
更多可以参阅《神经网络-激活函数对比》
如果没有非线性激活函数,那么神经网络其实就是只是单个神经元的线性组合:
更多可见 : http://blog.csdn.net/u011239443/article/details/76680704#t2
总结
初始化W不能设为0,否则同一层的神经元的改变相同,使得类似于单个神经元:
解决方案,随机生成绝对值较小的初始值(初始值绝对值太大,会使得S型激活函数的绝对值趋于0,从而使得训练缓慢):