Facebook首席AI科学家110页PPT:机器能像人一样学习吗?

导读:近日,瑞士洛桑理工授予Facebook首席AI科学家Yann LeCun荣誉博士学位,同时Yann Lecun做了名为《自监督学习:机器能像人一样学习吗?》(Self-supervisedlearning: could machines learn like humans?)的报告。

LeCun 表示人工智能革命的未来不会是有监督学习,也不会是单纯的强化学习,而是需要学习一个具备常识推理与预测能力的世界模型。LeCun 认为自监督学习是实现这一目标的一个潜在研究方向。

在大数据公众号后台对话框回复SSL,可以获取全文报告PPT下载链接。

▲报告视频

他认可现有的有监督学习和强化学习技术可以使人类在自动驾驶、医疗诊断、机器翻译、客服机器人、信息检索等领域中取得不错的进展,但他认为仅仅依靠现有技术,无法实现常识推理、智能个人助理、智能聊天机器人、家庭机器人以及通用人工智能。

在这样的背景下,LeCun 认为自监督学习是有望突破有监督学习与强化学习现状、学习世界模型的一个潜在研究方向。自监督学习将输入和输出当成一个完整的整体,它通过挖掘输入数据本身提供的弱标注信息,基于输入数据的某些部分预测其它部分。

在达到预测目标的过程中,模型可以学习到数据本身的语义特征表示,这些特征表示可以进一步被用于其他任务当中。当前自监督学习的发展主要体现在视频、图像处理领域。

例如,在空间层面上包括图像补全、图像语义分割、灰度图像着色等,在时间层面上包括视频帧预测、自动驾驶等。

Yann LeCun在报告中指出自监督学习(Self-supervised learning)可以作为强化学习的一种潜在解决方案,因为自监督学习将输入和输出都当成完整系统的一部分,使得它在诸如图像补全,图像迁移,时间序列预测等任务上都非常有效。

此外自监督模型的复杂度随着额外反馈信息的加入而增加,可以在很大程度上减少计算过程中人为的干预。

深度学习方法在计算机视觉领域所取得的巨大成功,要归功于大型训练数据集的支持。这些带丰富标注信息的数据集,能够帮助网络学习到可区别性的视觉特征。

然而,收集并标注这样的数据集通常需要庞大的人力成本,而所标注的信息也具有一定的局限性。作为替代,使用完全自监督方式学习并设计辅助任务来学习视觉特征的方式,已逐渐成为计算机视觉社区的热点研究方向。

简言之,自监督学习是一种特殊目的的无监督学习。不同于传统的AutoEncoder等方法,仅仅以重构输入为目的,而是希望通过surrogate task学习到和高层语义信息相关联的特征。

以下摘自报告PPT:

参考文献:

1. The Presentation given by Yann LeCun in theOpening of IJCAI 2018: We Need a World Model

http://ir.hit.edu.cn/~zyli/papers/lecun_ijcai18.pdf

2. 自监督学习近期进展

https://zhuanlan.zhihu.com/p/30265894

3. 报告链接:

https://memento.epfl.ch/event/self-supervised-learning-could-machines-learn-like/

个人主页:

据统计,99%的大咖都完成了这个神操作

  • 发表于:
  • 原文链接https://kuaibao.qq.com/s/20181112B1W9PD00?refer=cp_1026
  • 腾讯「云+社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。
  • 如有侵权,请联系 yunjia_community@tencent.com 删除。

扫码关注云+社区

领取腾讯云代金券