深度学习: Softmax 函数

Introduction

Softmax函数,又称 归一化指数函数

该函数 是重要的 深度学习目标函数,也是 Sigmoid函数 的一种 推广。可转换为交叉熵误差 (CE)

Softmax 将向量 等比例压缩[0, 1]之间,且保证 所有元素之和 为1

softmax(i)=ehyi∑Cj=1ehjsoftmax(i)=ehyi∑j=1Cehj

softmax(i) = \frac{e^{h_{y_{i}}}}{{\sum_{j=1}^C}e^{h_{j}}}

Instance:

softmax( [1, 2, 3, 4, 1, 2, 3] ) = [0.024, 0.064, 0.175, 0.475, 0.024, 0.064, 0.175]

Softmax 与 Sigmoid 的 异同

Softmax

Sigmoid

公式

σ(z)j=ezj∑Kk=1ezkσ(z)j=ezj∑k=1Kezk{\displaystyle \sigma (\mathbf {z} )_{j}={\frac {e^{z_{j}}}{\sum _{k=1}^{K}e^{z_{k}}}}}

S(x)=11+e−x.S(x)=11+e−x.{\displaystyle S(x)={\frac {1}{1+e^{-x}}}.}

本质

离散概率分布

非线性映射

任务

多分类

二分类

定义域

某个一维向量

单个数值

值域

[0,1]

(0,1)

结果之和

一定为 1

为某个正数

Sigmoid就是极端情况(类别数为2)下的Softmax。


[1] 深度学习: 分类 目标函数 (交叉熵误差(CE) -> 焦点损失(FL)) [2] 深度学习: 目标函数 [3] [Machine Learning] logistic函数和softmax函数

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏AI2ML人工智能to机器学习

矩阵分解 (乘法篇)

前面我们在矩阵分解 (加法篇)里面分析的加法下的矩阵分解。 这里我们来看看乘法下矩阵分解的要点。

16910
来自专栏数据派THU

一文读懂支持向量积核函数(附公式)

来源:jerrylead 本文通过多个例子为你介绍支持向量积核函数,助你更好地理解。 核函数(Kernels) 考虑我们最初在“线性回归”中提出的问题,特征是房...

771140
来自专栏一直在跳坑然后爬坑

向量空间相关概念总结-向量

26220
来自专栏程序生活

CS224n 笔记2-词向量表示:Word2vec1. 单词含义的表示2. Word2Vec的主要思路3. 更多Word2Vec细节4 .梯度的推导5. 损失/目标函数相关推荐阅读

1. 单词含义的表示 我们如何表示一个单词的意思 下面是意思的定义: 用词语,语句表示的想法或观点 人们使用词汇,符号来表达的想法 在一篇文章和艺术品表达的观点...

45280
来自专栏机器学习算法工程师

你必须要知道CNN模型:ResNet

作者:叶 虎 编辑:张 欢 PART 01 ResNet简介 引言 深度残差网络(Deep residual network, ResNet)的提出是CNN...

79870
来自专栏AI研习社

深度学习岗位面试问题一览

本笔记主要问题来自以下两个问题,以及我自己面试过程中遇到的问题。 深度学习相关的职位面试时一般会问什么?会问一些传统的机器学习算法吗?(http://t.cn/...

68050
来自专栏机器学习入门

深度学习系列(1):感知机

深度学习系列(1):感知机 前言 小论文总算告一段落了,近期开始深度学习了,跟着Hinton神经网络公开课边看边总结。视频参考链接如下:https://www....

23580
来自专栏AI研习社

如何使用 Keras 实现无监督聚类

由于深度学习算法在表达非线性表征上的卓越能力,它非常适合完成输入到有标签的数据集输出的映射。这种任务叫做分类。它需要有人对数据进行标注。无论是对 X 光图像还是...

60920
来自专栏企鹅号快讯

详解各种随机算法

转自:JarvisChu 之前将的算法都是确定的,即对于相同的输入总对应着相同的输出。但实际中也常常用到不确定的算法,比如随机数生成算法,算法的结果是不确定的,...

64290
来自专栏机器之心

教程 | 无监督学习中的两个非概率模型:稀疏编码与自编码器

机器之心整理 作者:Ruslan Salakhutdinov 参与:Smith 「无监督学习」(Unsupervised Learning)现在已经成为深度学习...

36270

扫码关注云+社区

领取腾讯云代金券