专栏首页量子位Hinton团队新作:无需重构,无监督比肩有监督,北邮毕业生一作

Hinton团队新作:无需重构,无监督比肩有监督,北邮毕业生一作

鱼羊 发自 麦蒿寺 量子位 报道 | 公众号 QbitAI

最新研究表明,无需重构,无监督表示学习也可以表现出色。

来自图灵奖得主 Hinton 团队的最新研究,提出了一种名为 SimCLR 的视觉表示对比学习简单框架。

作者表示,SimCLR 简化了自监督对比学习算法,使其不再依赖于专门的架构和存储库。

灰色x表示有监督ResNet-50

SimCLR

SimCLR 学习表示的方式,是通过对比损失最大化了同一示例不同增强视图的隐藏层之间的一致性。

使其表现出色的关键因素,有四点:

1. 多个数据增强的组合

研究人员发现,即使模型可以在对比任务中几乎完美地识别出正对,也无法通过单个变换来学习良好的表示。

采用数据增强组合时,对比预测任务会变得更加困难,但表示质量会大大提高。

并且,研究还指出,比起监督学习,对比学习需要更强大的数据增强。

2. 在表示(the representation)和对比(the contrastive)之间引入可学习的非线性变换

下图显示了使用三种不同头架构的线性评估结果。

非线性投影要好于线性投影,并且比没有投影要好得多。

3. 更大的批处理规模和更多的训练步骤

与监督学习相反,在对比学习中,较大的批处理量产生了更多的负面样本,从而促进了收敛。

4. 温度标度交叉熵损失的归一化

实验结果

在 ImageNet 上,SimCLR 方法训练出的线性分类器与有监督的 ResNet-50 性能相匹配,达到了 76.5% 的 top-1 准确率。相比于 SOTA,提升了7个百分点。

仅对 1% 的标签进行微调时,SimCLR 可以达到 85.8% 的 top-5 准确率。并且相比于 AlexNet,标签数量减少了 100 倍。

一作:北邮毕业生

SimCLR 的研究团队来自谷歌大脑,图灵奖得主 Geoffrey Hinton 名列其中。

论文一作,则是本科毕业于北京邮电大学的 Ting Chen。

本科毕业后,Ting Chen 赴美留学,先在东北大学(Northeastern University),后随导师转至加州大学洛杉矶分校获CS博士学位。

2017年开始,他先后在谷歌AI、谷歌大脑等部门实习,2019年正式成为谷歌大脑的研究科学家。

传送门

论文地址: https://arxiv.org/abs/2002.05709

Ting Chen 推特: https://twitter.com/tingchenai/status/1228337240708874241

本文分享自微信公众号 - 量子位(QbitAI),作者:关注前沿科技

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2020-02-16

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 英国皇家学会报告:人们的确担心人工智能,但理由却是错的……

    李杉 编译自Quartz 量子位 报道 | 公众号 QbitAI ? 英国皇家学会的最新调查显示,英国人更害怕把人工智能整合到家居设备和无人驾驶汽车中,反而不太...

    量子位
  • 机器学习太讨厌!细数ML五大罪,引发网友大讨论

    诚然在许多工业领域,资金投入一样非常重要,钱总能带来更快更好的进步,但在机器学习领域,问题远不止于此。

    量子位
  • 这里是强化学习入门,的入门 | 绝对新手友好

    强化学习是机器学习里面非常重要的一个派别。智能体 (agent) 会不断执行一些操作,通过结果来学习,在不同的环境中分别应该采取怎样的行动。

    量子位
  • Hinton组力作:ImageNet无监督学习最佳性能一次提升7%,媲美监督学习

    如今,在 ImageNet 上的图像识别准确率的性能提升每次通常只有零点几个百分点,而来自图灵奖获得者 Geoffrey Hinton 等谷歌研究者的最新研究一...

    机器之心
  • 变革尚未成功:深度强化学习研究的短期悲观与长期乐观

    选自alexirpan 机器之心编译 参与:Nurhachu Null、刘晓坤 深度强化学习是最接近于通用人工智能(AGI)的范式之一。不幸的是,迄今为止这种方...

    机器之心
  • 贝叶斯生成对抗网络(GAN):当下性能最好的端到端半监督/无监督学习

    【新智元导读】康奈尔大学研究员结合贝叶斯和对抗生成网络,在6大公开基准数据集上实现了半监督学习的最佳性能,同时,这也是迈向终极无监督式学习的一大步。研究提出了一...

    新智元
  • 零基础学习大数据之前,你不得不面对的几个问题

    大数据作为当前前景广阔、薪资优渥的新兴行业,很多零基础者也萌生了想要学习大数据的想法,随之而来的,就会产生诸如我不是计算机专业到底能不能学大数据?我到底适不适合...

    一起学习大数据
  • leetcode-151-翻转字符串里的单词

    1、这道题给定一个字符串s,相当于一个英文句子,要求把这个句子中的单词反转一下,后面的要放在前面,前面放在后面。

    chenjx85
  • Oracle基础维护01-常用管理命令总结

    此时,sga和pga自动调整,sga_target最小为4M,pga_aggregate_target最小为1M;

    Alfred Zhao
  • 求求你规范下你的代码风格

    代码风格并不影响程序的运行,也不会给你的程序带来潜在的危险。但一段好的代码风格,能让人阅读起来特别舒服,特别的阅读别人代码的时候,有些人的代码可以说是完全不注意...

    帅地

扫码关注云+社区

领取腾讯云代金券