Why Sigmoid？

Sigmoid函数的字面意思就是S型的函数，其图像就是下图蓝色曲线。

Sigmoid函数，是logistic regression（一款简单的分类模型）的分类函数，故有时又被成为logistic sigmoid。除此之外，它还是神经网络最为常用的激活函数之一。那么，本文就从稍微总结一下为何logistic regression选择sigmoid函数作为分类函数？

在

一书section4.2中，作者Bishop给出一种解释。在两分类及多分类中，通过最大化后验概率，可以推导出Sigmoid函数的形式。所以，某种程度上，选用Sigmoid函数等价在最大化后验概率。

有点牵强

从广义线性模型的角度来考虑可以获得更为Solid的解释。

线性模型就是下面这样的：

蓝点是观测点，横坐标是因变量，纵坐标是自变量，红色的线是用最小二乘拟合出来的线。

广义线性模型扩展了一般线性模型，使得在对数据分布进行合理假设的前提下，我们可以由此推导出一个拟合函数。

将这个定义应用到logistic regression，就有如下结论：

假设两类数据服从两点分布

那么sigmoid函数就是它所对应的拟合函数。

所以，从广义线性模型的角度来看，选择Sigmoid函数是有理论支撑的。