图像分类任务中的损失

作　者 | Evgeny Semyonov

翻　译 | 天字一号、Zinuo、invictus maneo

审　校 | 鸢尾、唐里、Pita

注：敬请点击文末【阅读原文】访问文中相关链接，PC查看体验更佳。

图像分类是机器学习中的一项重要任务。这项任务有很多比赛。良好的体系结构和增强技术都是必不可少的，但适当的损失函数现在也是至关重要的。

例如，在kaggle蛋白质分类挑战赛中（https://www.kaggle.com/c/human-protein-atlas-image-classification），几乎所有的顶级团队都使用不同的损失来训练他们的卷积神经网络。

在这篇文章中，我们将会讨论不同的损失函数的适用情况。

Focal loss

如果数据集中有一个稀少的类，那么它对摘要损失的影响很小。为了解决这个问题，作者的文章（https://arxiv.org/abs/1708.02002）建议应用额外的比例因子来降低模型十分确定样本的损失。硬挖掘正在激发一个分类器来关注最困难的情况，这些情况是我们稀有类的样本。

gamma控制简单情况下的降低。如果离1很近且模型不确定的，则Focal损失是一个标准的softmax损失函数。

Center loss

Softmax 损耗只鼓励标签的分离，并没有考虑特征值的鉴别能力。如https://arxiv.org/abs/1707.07391一篇文章中所述，存在所谓的中心损失方法。除了 CE 损耗外，中心损耗还包括从样本到样本类中心的距离。

Ls 表示 Softmax 损失，Lc 表示中心损耗。λ是一个缩放因子。

这两种方法的结果：

Contrastive center loss

中心损失只增强了类内紧凑性，不考虑类间可分离性。此外，中心损失仅涉及单个类内的距离，则存在类中心被固定化的风险。为了消除这些缺点，建议对类之间的小距离进行处罚。

Ring loss

与直接学习质心不同，该机制具有少量参数。在‘Ring loss’文章中，作者证明了，当特征向量范数相同时，角边距最大。因此，激励样本在特征空间中具有相同的范数，我们：

1、更好地提升分类性能。

2、应用原有归一化技术。

在二维空间中可视化特征，我们可以看到圆环。

ArcFace loss

softmax的损失函数形式是：

与Ring Loss一样，ArcFace loss的作者也对下面的等式进行进一步的探索。

它们还将特征的矢量规范化为 1，并将特征样本的规范缩放为尺度 s。现在，我们的预测仅取决于特征矢量和权重矢量之间的角度。

为了增加类内的进制程度，提高类间的区分性，对theta Yi的cosine进行最大化的惩罚损失。

为了进行比较，让我们看一下上面的图片！2D 空间中有 8 个标识。每个标识都有自己的颜色。点表示样本，线条表示每个个体的中心方向。我们看到个体点离其中心很近，并且远离其他个体。此外，每个中心之间的角距离相等。这些事实证明作者的方法是有效的。

SphereFace 和CosFace损失

这些损失非常接近 ArcFace。在 SphereFace 中，不使用执行附加边界，而是使用乘法因子：

或 CosFace 依赖于cosine边界

LGM loss

https://arxiv.org/pdf/1803.02988文章的作者依靠贝叶斯定理来解决分类任务。引入 LGM 损失作为分类和可能性损失的总和。Lambda 是一个真正的值，扮演缩放因子的角色。

分类损失通常被表述为交叉熵损损失，但这里概率被后分布所取代：

分类部分起鉴别作用。但文章中还有一个可能的部分：

这一项要求用适当的均值和协方差矩阵从正态分布中采样x_i。

在图中可以看到二维空间的正态分布。

via https://medium.com/@lightsanweb/losses-in-image-classification-task-7401a8348927