专栏首页新智元SIGIR2020|图灵奖得主Hinton主题演讲:无监督对比学习将是神经网络的未来

SIGIR2020|图灵奖得主Hinton主题演讲:无监督对比学习将是神经网络的未来

新智元报道

来源:SIGIR

编辑:白峰

【新智元导读】7月27日上午,第43届国际信息检索大会(SIGIR 2020)线上开启,图灵奖得主Geoffrey Hinton作了主题演讲,今天我们就跟随Hinton一起走进「神经网络的新时代」。

人工神经网络一直悬而未决的问题是如何像大脑一样有效地进行无监督学习。

当前有两种主要的无监督学习方法。

第一种方法,以BERT和变分自编码为代表,使用深度神经网络来重建其输入。

第二种方法,是Becker和Hinton在1992年提出的,通过训练一个深层神经网络的两个副本,以相同图像的两种不同剪裁作为输入,产生具有高度互信息的输出向量。设计此方法的目的是使表示形式免受无关细节的束缚。

Becker和Hinton使用的优化互信息的方法也存在缺陷,后面Pacannaro和Hinton虽然用另一个方法替换了它也没能完全解决,但Hinton在本次演讲中提出了一个新的思路。

BERT在语言任务如鱼得水,但在视觉领域行不通

本次SIGIR大会上,Hinton首先回顾了自编码器。

自编码器是一种利用反向传播算法使得输出值等于输入值的神经网络,它将原始数据压缩成潜在的空间表征,然后通过这种表征来重构输出。

作为自编码器的典型代表BERT为例,它将句子中的每个词都表示为一种嵌入向量,L+1层通过对比相邻的其他词学到比L层更好的表征,这个更好的表征主要得益于注意力机制。

在到达最后一个激活层softmax之前,词的表征已经非常好了,只需要fine-tune,就能轻松迁移到其他自然语言相关的任务。

「上下文信息是最好的老师」。Hinton举例,「She scromed him with the frying pan」,即使我们没见过「scromed」,通过下文的平底锅,也能大概猜测出「scromed」的意思,拿个平底锅能干啥好事呢?

Hinton认为在视觉领域也是如此,同一批图片的上下文表示,可以提供很强的相关语义信息。

但是BERT这样的编码方式对于图像来说是有问题的,因为网络的最深层需要对图像的精细细节进行编码。

过去20年,为什么有的研究人员认为训练深度自编码器如此困难?Hinton觉得主要有三个原因:

  • 没有采用正确的神经元,修正的线性单元比sigmoid和tanh更合适。
  • 初始化权重做的不好,导致反向传播时的梯度消失或爆炸。
  • 硬件算力不足。

1750亿参数的GPT3,简直了!

无监督对比学习才是神经网络的未来

人类大脑有10^14个神经元连接,而人的一生只有10^9秒,因此人类仅靠监督学习是无法完成所有神经元训练的,我们的深度学习模型也是如此,只用监督学习无法取得更新的进展,要将无监督学习融入进来。

当前无监督学习方法过度关注数据的重构损失(Reconstructive Loss),而忽略了数据间关联关系的捕捉。基于此,他提出了下一代神经网络模型的构想,提出利用对比损失函数(Contrastive Loss)建模样本间的局部关系、增强数据间表达的一致性的解决思路。

最后,Hinton展示了自己这一构想的最新实现SimCLR。

SimCLR是一个简单的视觉表示对比学习框架,它不仅比以前的类似工作更出色,而且也更简单。

它首先学习未标记数据集上图像的一般表示,然后可以使用少量标记图像对其进行微调,就能实现特定领域的分类任务。

SimCLR可以通过同时最大化同一图像的不同变换视图之间的一致性以及最小化不同图像的变换视图之间的一致性来学习通用表示。利用这一对比目标更新神经网络的参数,使得相应视图的表示相互「吸引」,而非对应视图的表示相互「排斥」。

尽管SimCLR 很简单,但是它极大地提高了 ImageNet 上无监督和半监督学习的SOTA效果。基于 SimCLR 训练的线性分类器可以达到76.5% / 93.2%的 top-1 / top-5的准确率,而之前的最好的模型准确率为71.5% / 90.1%。与较小的的监督式学习模型ResNet-50性能相当。

Hinton认为,SimCLR为代表的无监督对比学习将开启神经网络的新时代。

本文分享自微信公众号 - 新智元(AI_era),作者:新智元

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2020-07-28

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 图灵奖得主Hinton和 LeCun最新演讲:深度学习如何继续革命?

    近日,图灵奖得主、深度学习巨头Geoffrey Hinton和Yann LeCun在ACM FCRC 2019上发表了精彩演讲。

    新智元
  • AI教父Hinton:AI 系统将走向无监督,我们需要真正理解大脑

    最新一届图灵奖得主、多伦多大学教授兼谷歌大脑高级研究员 Geoffrey Hinton 今天在谷歌 I/O 开发者大会的炉边聊天上发表了演讲。

    新智元
  • 深度学习教父Hinton专访,AI已跨越重要分水岭

    【新智元导读】《福布斯》昨日刊登Geoff Hinton专访。游走在学术和产业的AI大神Hinton谈到了自己研究兴趣的起源、在多伦多大学和谷歌所做的研究工作以...

    新智元
  • Deepmind“预测地图”论文背后:神经科学或将助力AI迎来新突破

    对人类神经网络的理解越来越在左右人工智能的未来研究,连Deepmind也不例外。 2017年10月2日,《NATURE NEUROSCIENCE》发表了Dee...

    AI科技评论
  • 程序员字典:「牛逼」

    昨天发了中国团队的招聘贴 新的冒险,基本要求这一页我是这么写的: ? 作为一个已经命中注定和代码打大半辈子交道的程序员,我们职业生涯的「小」目标大多是 成为一个...

    tyrchen
  • Android和IOS的TLS问题

    这个问题起源于以前给客户端写的一个log模块,然后里面为了线程安全且多线程下不互相写乱,并且因为这些系统基本都用比较高版本的编译器,都支持C++11了,所以就用...

    owent
  • 3.1 .1、Google Tag Manager基础知识——GTM简介

    Google Tag Manager(谷歌代码管理系统,GTM)可以帮助您快速轻松地更新网站或移动应用上的代码和代码段,例如用于流量分析和营销优化的代码和代码段...

    GA小站
  • 记一次Linux被入侵的经历

    Linux入侵经历 被入侵的一次经历 今天给大家说说一次被入侵的经历,仅供大家参考。 ? 事件起因 2017年9月7日下午测试带宽,登录到服务器。在/tmp目...

    1846122963
  • 3.1.4 、Google Tag Manager基础知识——GTM部署

    在了解完GTM账户和容器的操作界面后,对各个位置的功能和操作都有一定的了解,接下来看如何部署GTM跟踪代码。

    GA小站
  • 边玩边入门深度学习,我们帮你找了10个简易应用demo

    大数据文摘

扫码关注云+社区

领取腾讯云代金券