今天我们会来聊聊现代神经网络中 必不可少的一个组成部分, 激励函数, activation function.非线性方程我们为什么要使用激励函数? 用简单的语句来概括....不过要确保的是这些激励函数必须是可以微分的, 因为在 backpropagation 误差反向传递的时候, 只有这些可微分的激励函数才能把误差传递回去.常用选择¶图片想要恰当使用这些激励函数, 还是有窍门的...比如当你的神经网络层只有两三层, 不是很多的时候, 对于隐藏层, 使用任意的激励函数, 随便掰弯是可以的, 不会有特别大的影响....因为时间的关系, 我们可能会在以后来具体谈谈这个问题.最后我们说说, 在具体的例子中, 我们默认首选的激励函数是哪些. 在少量层结构中, 我们可以尝试很多种不同的激励函数....在卷积神经网络 Convolutional neural networks 的卷积层中, 推荐的激励函数是 relu.