欢迎大家来到《知识星球》专栏,这里是AI1000问小专题。
作者&编辑 | 言有三
1 Softmax相关的问题
Softmax在图像分类,分割任务中是很常见的,关于它有些常见的小问题,供大家思考学习。
有三AI1000问-机器学习篇
为什么分类任务softmax损失输入是2通道,sigmoid损失是1通道
想必大家都玩过图像分类了,为什么同样是2分类任务,softmax损失函数的输入是2通道而sigmoid损失函数的输入是1通道?
作者/编辑 言有三
归根结底还是因为这两个损失根本就不是用于同一个任务,尽管在二分类的时候它们恰好是同一个问题。
我们首先看一下softmax损失函数定义,i表示第i个样本,k表示第k类,C表示总类别数,yik是第i个样本第k类的标签,f(xik)即样本i属于第k类的概率。
在k=0到C中,只有一个yik非零,这个损失函数的定义是用于多类别分类任务的,即一个样本只属于其中一个类别,比如手写数字的1,2,3,4,5,6,7。在具体实现损失的时候,就需要先取到非零的通道,按照上式计算该通道损失,所以输入通道数目为2。
再看sigmoid损失函数定义:
从这个式子可以看出,根本就没有类别C的概念,yi即是否为正样本,f(xi)即样本i是否为正样本的概率,所以单个的sigmoid损失函数只能用于二分类问题。假如有一个分类任务为男,女,老,少,就需要2个sigmoid损失函数。在具体实现损失的时候,每一类问题只需要知道一个正样本概率直接带入上式即可,所以输入通道数目为1。
2 更多AI1000问
更多的AI1000,可以移步知识星球阅读!
有三AI知识星球的内容非常多,大家可以预览一些内容如下。