前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >深度学习: Softmax 函数

深度学习: Softmax 函数

作者头像
JNingWei
发布2018-09-27 15:15:49
8100
发布2018-09-27 15:15:49
举报
文章被收录于专栏:JNing的专栏

Introduction

Softmax函数,又称 归一化指数函数

该函数 是重要的 深度学习目标函数,也是 Sigmoid函数 的一种 推广。可转换为交叉熵误差 (CE)

Softmax 将向量 等比例压缩0, 1之间,且保证 所有元素之和 为1

softmax(i)=ehyi∑Cj=1ehjsoftmax(i)=ehyi∑j=1Cehj

softmax(i) = \frac{e^{h_{y_{i}}}}{{\sum_{j=1}^C}e^{h_{j}}}

Instance:

softmax( 1, 2, 3, 4, 1, 2, 3 ) = 0.024, 0.064, 0.175, 0.475, 0.024, 0.064, 0.175

Softmax 与 Sigmoid 的 异同

Softmax

Sigmoid

公式

σ(z)j=ezj∑Kk=1ezkσ(z)j=ezj∑k=1Kezk{\displaystyle \sigma (\mathbf {z} )_{j}={\frac {e^{z_{j}}}{\sum _{k=1}^{K}e^{z_{k}}}}}

S(x)=11+e−x.S(x)=11+e−x.{\displaystyle S(x)={\frac {1}{1+e^{-x}}}.}

本质

离散概率分布

非线性映射

任务

多分类

二分类

定义域

某个一维向量

单个数值

值域

0,1

(0,1)

结果之和

一定为 1

为某个正数

Sigmoid就是极端情况(类别数为2)下的Softmax。


1(https://cloud.tencent.com/developer/article/1347731)

2(https://blog.csdn.net/jningwei/article/details/79232031)

3Machine Learning logistic函数和softmax函数](http://www.cnblogs.com/maybe2030/p/5678387.html)

本文参与 腾讯云自媒体同步曝光计划,分享自作者个人站点/博客。
原始发表:2018年02月01日,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • Introduction
    • Instance:
    • Softmax 与 Sigmoid 的 异同
    领券
    问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档