专栏首页深度学习技术前沿【CVPR2020 Oral】只需一行代码就可提升迁移性能

【CVPR2020 Oral】只需一行代码就可提升迁移性能

作者:Hassassin 知乎链接:https://zhuanlan.zhihu.com/p/121507249 本文仅供学习参考,如有侵权,请联系删除!

只需要一行代码,立刻提升迁移性能。

这就是我们出的新方法:批量核范数最大化(Batch Nuclear-norm Maximization)。

本文中我们通过理论推导和分析,发现类别预测的判别性与多样性同时指向批量响应矩阵的核范数,这样就可以最大化批量核范数来提高迁移问题中目标域的性能。

在迁移任务中,目标域由于没有标签,常常导致分界面附近混淆较多的数据。而我们基于这一现象,分析了批量类别响应组成的批量矩阵A,并希望从判别性和迁移性进行优化。

判别性

所谓判别性,指的是预测类别的过程是否坚定。比如对于二类问题的响应

  • [0.9,0.1]判别性较高,
  • [0.6,0.4]判别性较低。

常见的方法采用最小化熵来得到较高的判别性。我们发现矩阵A的F范数与熵有着相反的单调性,从而可以通过最大化A的F范数来提升判别性。

多样性

多样性可以近似表达为批量矩阵中预测的类别数量,即预测的类别数量多则响应多样性大。

考虑不同类别响应的线性相关性,如果两个响应属于不同类别,那么响应会差别较大线性无关,如果属于相同类别则近似线性相关。

  • [0.9,0.1]与[0.1,0.9]线性无关,
  • [0.9,0.1]与[0.8,0.2]近似线性相关。

那么预测类别数也就是矩阵中最大的线性无关向量数,即矩阵的秩。

BNM

核范数是矩阵奇异值的和,在数学上有两点结论

  • 核范数与F范数相互限制界限,
  • 核范数是矩阵秩的凸近似。

所以类别预测的判别性与多样性同时指向矩阵的核范数,我们可以最大化矩阵核范数(BNM)来提升预测的性能。

比如上图中,如果使用熵最小化(EntMin)和BNM来优化,当熵相同的时候,使用BNM优化更容易使得核范数更大,从而正确预测绵羊的样本(保障类别比重较少的数据有利于提高整体的多样性)

实现

在常用的框架Pytorch与Tensorflow中,均可通过一行代码实现BNM

Pytorch:

L_BNM = -torch.norm(A,'nuc')

Tensorflow:

L_BNM = -tf.reduce_sum(tf.svd(A, compute_uv=False))

应用

我们将BNM应用到三个标签不足的场景中,半监督学习,领域适应和开放域物体识别。实验表明,在半监督学习中可以提升现有方法,在领域适应中BNM约束明显优于EntMin,并且单一的BNM约束可以达到与现有方法相近的性能,如下图:

在开放域物体识别中单一的BNM约束超过有着冗杂损失函数的UODTN,达到SOTA性能,如下图:

同时在开放域物体识别中,我们统计了随机采样的批量响应中未知类所占比例,如图:

我们发现BNM确实可以保持未知类所占比例,从而保障整体预测的类别数量与准确性,从而保持多样性。

值得一提的是,我们的方法主要针对的是缺少标签场景下分界面附近数据密度较大的问题,对于迁移相关的任务有着较为普遍的改善价值。

传送门

  • 论文地址:https://arxiv.org/pdf/2003.12237.pdf
  • 代码地址:https://github.com/cuishuhao/BNM

本文分享自微信公众号 - 深度学习技术前沿(gh_a540734f538c)

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2020-06-05

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 德国最有影响力的十位数学家

    最具有革命性的数学家 康托尔,两千多年来,科学家们接触到无穷,却又无力去把握和认识它,这的确是向人类提出的尖锐挑战。康托尔以其思维之独特,想象力之丰富,方法之新...

    深度学习技术前沿公众号博主
  • OpenImage冠军方案:在物体检测中为分类和回归任务使用各自独立的特征图

    这篇文章来自商汤科技,是OpenImage竞赛的冠军方案,本文对物体检测中的分类和回归任务的冲突问题进行了重新的审视,并给出了一个为不同任务分别生成特征图的方案...

    深度学习技术前沿公众号博主
  • 【六一儿童节】回忆一下“孩子们的游戏”!(码农版)

    今天,我们来回忆一下程序员版的儿童小游戏。六一儿童节,牛客都会准备一些小礼物去看望孤儿院的小朋友,今年亦是如此。DL作为牛客的资深元老,自然也准备了一些小游戏。...

    深度学习技术前沿公众号博主
  • 知乎大学上线,知识付费OUT了,知识即服务时代来临

    6月6日,知乎宣布,旗下“知识市场”正式更名为“知乎大学”,升级后的“知乎大学”,将基于由“课”+“书”+“训练营”共同组成的内容体系,为用户提供涵盖通识知识、...

    罗超频道
  • 测温仪真假±0.5℃:大疆用一根棉花棒搞掂?脱离环境谈精度就是「耍流氓」

    除了空中消毒、喊话外,在测温设备紧缺的情况下,无人机也紧急上阵,被拿来用做远程测温。

    机器之心
  • 科学瞎想系列之三十二 民科那点破事(1)

    所谓民科是指在科学共同体之外进行所谓科学研究的一类特殊人群,他们或者希望一举解决某个重大的科学问题,或者试图推翻某个著名的科学理论,或者致力于建立某种庞...

    标准答案
  • 「智能战疫方案精选」第一期:25款被广泛应用的智能测温方案

    为避免聚集性疫情发生,阻断病毒传染、及时发现疑似病人,全国各地均已采取最严格的发热人员排查措施,防止疫情进一步向外扩散。返工潮人流涌动,站好温控第一道岗,成为疫...

    机器之心
  • SaaS销烟再起 看销售易如何评说纷享销客、和创等友商们?

    作者:T客汇 人称T客 关键词:销售易,企业服务,SaaS 网址:www.tikehui.com 对于任何一家公司在公开场合评价自已的对手和友商都是隐晦的。第...

    人称T客
  • 峰会纪实|ABB副总裁: 柔性自动化怎么帮助制造业的转型升级?

    GAIR 今年夏天,雷锋网将在深圳举办一场盛况空前的“全球人工智能与机器人创新大会”(简称GAIR)。大会现场,谷歌,DeepMind,Uber,微软等巨头的人...

    AI科技评论
  • Salesforce大刀阔斧变革开发者体验

    在盛况空前的Dreamforce大会上,云计算领军厂商Salesforce.com发布了Salesforce DX:一种为Saleforce平台构建和部署应用程...

    臭豆腐

扫码关注云+社区

领取腾讯云代金券