Softmax函数,又称 归一化指数函数 。
该函数 是重要的 深度学习目标函数,也是 Sigmoid函数 的一种 推广。可转换为交叉熵误差 (CE) 。
Softmax 将向量 等比例压缩 到 0, 1之间,且保证 所有元素之和 为1 。
softmax(i)=ehyi∑Cj=1ehjsoftmax(i)=ehyi∑j=1Cehj
softmax(i) = \frac{e^{h_{y_{i}}}}{{\sum_{j=1}^C}e^{h_{j}}}
softmax( 1, 2, 3, 4, 1, 2, 3 ) = 0.024, 0.064, 0.175, 0.475, 0.024, 0.064, 0.175
| Softmax | Sigmoid |
---|---|---|
公式 | σ(z)j=ezj∑Kk=1ezkσ(z)j=ezj∑k=1Kezk{\displaystyle \sigma (\mathbf {z} )_{j}={\frac {e^{z_{j}}}{\sum _{k=1}^{K}e^{z_{k}}}}} | S(x)=11+e−x.S(x)=11+e−x.{\displaystyle S(x)={\frac {1}{1+e^{-x}}}.} |
本质 | 离散概率分布 | 非线性映射 |
任务 | 多分类 | 二分类 |
定义域 | 某个一维向量 | 单个数值 |
值域 | 0,1 | (0,1) |
结果之和 | 一定为 1 | 为某个正数 |
Sigmoid就是极端情况(类别数为2)下的Softmax。
1(https://cloud.tencent.com/developer/article/1347731)
2(https://blog.csdn.net/jningwei/article/details/79232031)
3Machine Learning logistic函数和softmax函数](http://www.cnblogs.com/maybe2030/p/5678387.html)