学习笔记：神经元模型（2）

这里我们给出三种常用的激活函数，如下图所示。

Python的Numpy package中提供了exp和maximum函数，因此，可以很方便地描述上述三个函数，如下图所示。

描述了这三个函数，就可以用matplotlib package提供的函数方便地画出函数图像，这三个函数的图像如下图所示。为便于比较，将这三个函数的图像在同一坐标系显示。

从图像中不难看出，sigmoid 函数不是关于原点中心对称的（zero-centered)；tanh解决了sigmoid中的 zero-centered 问题；ReLU是目前使用最频繁的一个函数。