【论文笔记系列】自动搜索损失函数？AM-LFS：AutoML for Loss Function Search

目前AutoML技术非常火，尤其是NAS领域，之前有一篇文章已经对现有的AutoML技术做了总结，可阅读【AutoML：Survey of the State-of-the-Art】。 论文：AM-LFS：AutoML for Loss Function Search

不过这篇文章将介绍一下如何使用AutoML技术来搜索损失函数。一般来说，损失函数都是需要我们手动设计的，以分类任务而言，我们通常会使用交叉熵。碰到数据集imbalanced的情况，可能会给每个类别加上一个权重。在RetinaNet论文里为目标检测任务提出了FocalLoss。上述都是对交叉熵函数根据特定任务做了修改，可是这样的修改通常需要我们能够洞察到问题的本质，换句话说这需要专业的知识。那我们这种蔡文姬还有设计loss函数的机会吗？商汤科技在这方面做了探索，下面将介绍论论文细节。

1. 论文贡献

论文有两大贡献：

• 设计了损失函数搜索空间，该搜索空间能够覆盖常用的流行的损失函数设计，其采样的候选损失函数可以调整不同难度级别样本的梯度，并在训练过程中平衡类内距离和类间距离的重要性。
• 提出了一个bilevel的优化框架：本文使用强化学习来优化损失函数，其中内层优化是最小化网络参数的损失函数，外层优化是最大化reward。

2. 回顾之前的损失函数

margin-based softmax loss

6. 实验结果

原论文给出了在多个不同类型的数据集的结果：

• Classification: Cifar10

• Face Recognition：CASIA-Webface用作训练集，MegaFace用做测试集

• Person ReID：Market-1501 and DukeMTMC-reID