深度学习: Softmax 函数

Introduction

Softmax函数，又称 归一化指数函数 。

该函数 是重要的 深度学习目标函数，也是 Sigmoid函数 的一种 推广。可转换为交叉熵误差 (CE) 。

Softmax 将向量 等比例压缩 到 0, 1之间，且保证 所有元素之和 为1 。

softmax(i)=ehyi∑Cj=1ehjsoftmax(i)=ehyi∑j=1Cehj

softmax(i) = \frac{e^{h_{y_{i}}}}{{\sum_{j=1}^C}e^{h_{j}}}

Instance：

softmax( 1, 2, 3, 4, 1, 2, 3 ) = 0.024, 0.064, 0.175, 0.475, 0.024, 0.064, 0.175

Softmax 与 Sigmoid 的 异同

Sigmoid就是极端情况(类别数为2)下的Softmax。

1(https://cloud.tencent.com/developer/article/1347731)

2(https://blog.csdn.net/jningwei/article/details/79232031)

3Machine Learning logistic函数和softmax函数](http://www.cnblogs.com/maybe2030/p/5678387.html)