这里我们给出三种常用的激活函数,如下图所示。
Python的Numpy package中提供了exp和maximum函数,因此,可以很方便地描述上述三个函数,如下图所示。
描述了这三个函数,就可以用matplotlib package提供的函数方便地画出函数图像,这三个函数的图像如下图所示。为便于比较,将这三个函数的图像在同一坐标系显示。
从图像中不难看出,sigmoid 函数不是关于原点中心对称的(zero-centered);tanh解决了sigmoid中的 zero-centered 问题;ReLU是目前使用最频繁的一个函数。