神经网络激活函数总结

激活函数总结

1. sigmoid
2. tanh
3. ReLU
4. Leaky ReLU
5. Maxout
6. ELU

sigmoid

数学表示：

不建议使用,容易饱和

tanh

数学表示：

ReLU

数学表示：

建议使用， 但是注意学习率，保证ReLU激活

Leaky ReLU

数学表示：

Maxout

数学表示：

ELU

数学表示：