Softmax

前言

在机器学习中的多元分类问题,我们时常使用softmax函数来整理输出结果。那么什么是softmax呢?

什么是多元分类?

在机器学习中,我们有一类非常常见的问题,叫作多元分类问题。所谓多元分类,即是我们的模型,结果是一个离散的,超过二维的表示。

举几个例子:

  1. 判断一个图片是不是猫,这是一个二元分类问题,不是多元分类(只有是与不是)。
  2. 预测一个地区未来三个月的房价,这个结果是连续的,所以它也不是多元分类
  3. 判断一个数字是[0,9]中的哪一个,这就是一个标准的多元分类问题,答案只有[0,9]10个。

Softmax函数

从纯数学来说,它是一种函数的变换。它的作用是:它能将一个含任意实数的K维向量 “压缩”到另一个K维实向量中,使得每一个元素的范围都在 (0,1)之间,并且所有元素的和为1。 这个“压缩”的过程,就是Softmax函数,它是一个数学变换。

image.png

import math
z = [1.0, 2.0, 3.0, 4.0, 1.0, 2.0, 3.0]
z_exp = [math.exp(i) for i in z]  
print(z_exp)  # Result: [2.72, 7.39, 20.09, 54.6, 2.72, 7.39, 20.09] 
sum_z_exp = sum(z_exp)  
print(sum_z_exp)  # Result: 114.98 
softmax = [round(i / sum_z_exp, 3) for i in z_exp]
print(softmax)  # Result: [0.024, 0.064, 0.175, 0.475, 0.024, 0.064, 0.175]

Softmax的优势

我们为什么要用Softmax呢?指数函数的值域为(0 - 正无穷) 在做归一化处理时,会自动去掉负数带来的困境,在计算概率的场景,非常合适。因为通常来说,概率就是[0,1]的范围。因此,在多元分类问题中,使用Softmax是非常合适的。

Softmax的使用

本质上,linear,Logistic,Softmax 都是一个东西推导出来的。就是广义线性模型。这些分布之所以长成这个样子,是因为我们对y进行了假设。 当y是正太分布-------->linear model 当y是两点分布-------->Logistic model 当y是多项式分布-------->Softmax 只要y的分布是指数分布族的(还有若干假设),都可以用一种通用的方法推导出h(x)。

image.png

mnist数据集

mnist机器学习入门的一个常用数据集,也是softmax应用的一个很好的示例。mnist有大约60k张手写数字的图片。图片是28 x 28 x 255的黑白图片,并包含对应的标签。我们将其变成一维,图片可以用[1,784]的张量来表示。每个元素的值为[0,255]。 我们的输出是[0,9],因此,可以用张量[1,10]来表示,每个元素值为(0,1)。表示0-9十个数字的可能性。

实践证明,在这个问题上softmax就是一个非常有效的模型。

那么 y = softmax(wx+b) 其中: x : [N , 784] w: [784 , 10] b: [1,10] y: [N , 10]

在tensorflow中,我们会这样表示:

y = tf.nn.softmax(tf.matmul(x,W) + b)

这样,我们就将数据集和我们想要的输出连接了起来。我们就可以通过机器学习,来寻找最佳的w和b,从而形成我们的模型。最终,它就能帮助我们完成对手写数字图片的识别了。

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏机器之心

想要实现深度神经网络?一张 Excel 表格就够了

2756
来自专栏ATYUN订阅号

使用循环神经网络的时间序列预测指南(包含用LSTMs预测未来的货币汇率)

Statsbot团队发表过一篇关于使用时间序列分析来进行异常检测的文章。文章地址:https://blog.statsbot.co/time-series-an...

3459
来自专栏机器之心

入门 | 理解深度学习中的学习率及多种选择策略

2636
来自专栏专知

强化学习:Policy-based方法Part2

【导读】在Part1部分,我们学习了什么是策略梯度,以及该算法的优势与劣势,在Part2部分,我们将学习到如何通过策略搜索实现策略函数的迭代优化。

1293
来自专栏我的技术笔记

数据、学习和模型

机器学习中有几个关键的概念,这些概念为理解机器学习这个领域奠定了基础。

1889
来自专栏AI科技评论

独家 | 利用特权信息、语义信息和多源信息辅助基于网络数据的学习

雷锋网 AI 科技评论按:本文由美国莱斯大学博士后牛力为 AI 科技评论提供的独家稿件,未经许可不得转载。

1022
来自专栏计算机视觉战队

深度判别和共享特征学习的图像分类

秋雨思童年,落花念爱霖!一场秋雨的洗礼,让我们进入了真正能感觉得到的秋季。秋季是丰收的季节,不知朋友您收获如何?但是我相信您一定硕果累累,满载着各种成果、业绩和...

2817
来自专栏Echo is learning

machine learning 之 Neural Network 3

1175
来自专栏专知

【前沿】简化标注者工作:Google等学者提出基于智能对话的边界框标注方法

【导读】近日,针对目标检测中边界框标注速度慢、花费高的问题,来自Google、EPFL、IST的学者发表论文提出基于智能对话的边界框标注方法。其方法通过结合框验...

2655
来自专栏人工智能LeadAI

LSTM模型在问答系统中的应用

在问答系统的应用中,用户输入一个问题,系统需要根据问题去寻找最合适的答案。 1、采用句子相似度的方式。根据问题的字面相似度选择相似度最高的问题对应的答案,但是采...

4187

扫码关注云+社区