专栏首页AutoML(自动机器学习)【论文笔记系列】自动搜索损失函数?AM-LFS:AutoML for Loss Function Search

【论文笔记系列】自动搜索损失函数?AM-LFS:AutoML for Loss Function Search

目前AutoML技术非常火,尤其是NAS领域,之前有一篇文章已经对现有的AutoML技术做了总结,可阅读【AutoML:Survey of the State-of-the-Art】。 论文:AM-LFS:AutoML for Loss Function Search

不过这篇文章将介绍一下如何使用AutoML技术来搜索损失函数。一般来说,损失函数都是需要我们手动设计的,以分类任务而言,我们通常会使用交叉熵。碰到数据集imbalanced的情况,可能会给每个类别加上一个权重。在RetinaNet论文里为目标检测任务提出了FocalLoss。上述都是对交叉熵函数根据特定任务做了修改,可是这样的修改通常需要我们能够洞察到问题的本质,换句话说这需要专业的知识。那我们这种蔡文姬还有设计loss函数的机会吗?商汤科技在这方面做了探索,下面将介绍论论文细节。

1. 论文贡献

论文有两大贡献:

  • 设计了损失函数搜索空间,该搜索空间能够覆盖常用的流行的损失函数设计,其采样的候选损失函数可以调整不同难度级别样本的梯度,并在训练过程中平衡类内距离和类间距离的重要性。
  • 提出了一个bilevel的优化框架:本文使用强化学习来优化损失函数,其中内层优化是最小化网络参数的损失函数,外层优化是最大化reward。

2. 回顾之前的损失函数

6. 实验结果

原论文给出了在多个不同类型的数据集的结果:

  • Classification: Cifar10
  • Face Recognition:CASIA-Webface用作训练集,MegaFace用做测试集
  • Person ReID:Market-1501 and DukeMTMC-reID

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • DeepLearning.ai学习笔记(五)序列模型 -- week1 循环序列模型

    一、为什么选择序列模型 序列模型可以用于很多领域,如语音识别,撰写文章等等。总之很多优点。。。 二、数学符号 为了后面方便说明,先将会用到的数学符号进行介绍。 ...

    marsggbo
  • LaTeX多图合并代码示例(subfigure)

    marsggbo
  • AutoML综述更新 【AutoML:Survey of the State-of-the-Art】

    下面是整个AutoML的pipeline,全文也是围绕这个pipeline对AutoML技术做了回顾和总结。

    marsggbo
  • 深度学习之线性单元(梯度下降算法)(二)

    线性的概念: "线性"="齐次性"+"可加性", "齐次性"是指类似于: f(ax)=af(x), "可加性"是指类似于: f(x+y)=f(x)+f(y...

    李小白是一只喵
  • 【云+社区年度征文】gshark-敏感信息搜集防泄漏工具(避坑指南)

    公众号爱国小白帽
  • 世界疫情防控局势一览——各地区为加强防控新冠病毒亮新招

    为了控制新冠疫情在全世界持续蔓延的局势,已有25个国家采取短期或不限期应急举措,迅速检测并隔离感染者,加强检疫。然而,多数举措侵犯了人们的隐私权。

    人工智能小咖
  • 小蛇学python(17)时间序列的数据处理

    不管是在金融学、经济学的社会学科领域,还是生态学、系统神经的自然学科领域,时间序列数据都是一种重要的结构化数据形式。

    用户2145057
  • numpy小结

    numpy是进行科学运算不可或缺的工具,很多其他科学计算的库也是基于numpy的,比如pandas

    opprash
  • 到底哪个才是Windows服务器真正的用户名?

    请看下面这台机器本地用户和组里的2个用户和WebVNC上的2个用户,远程的时候用户名是哪个?

    shawyang
  • 区块链技术与应用06 北大肖臻

    接下来这节课好长好长啊,静怡,要坚持!!!!!!争取下午看完!!!加油!!!fighting!!!

    静怡

扫码关注云+社区

领取腾讯云代金券