专栏首页AI科技大本营的专栏图灵奖得主LeCun力推无监督学习:要重视基于能量的学习方法

图灵奖得主LeCun力推无监督学习:要重视基于能量的学习方法

作者 | Tiernan Ray

译者 | 夕颜

导语:图灵奖得主深度学习大牛 Yann LeCun 表示,人工智能的下一个发展方向可能是放弃深度学习的所有概率技巧,转而掌握一系列转移能量值的方法。

据说,工程师和某些科学家(大多数是工程师)可以把构思的东西在脑中视觉化。Facebook 的人工智能负责人 Yann LeCun 似乎就是这类人。

他在《When the Machine Learns》一书中写道:“我主要是凭直觉工作。”这本新书既是传记,又是科学讲座,又是一部人工智能简史,本周三以法语出版,书名为《Quand la machine apprend》(中文大意:当机器学习时)。

LeCun 写道:“我想到了爱因斯坦称之为‘思维实验’的临界案例。”

想象不存在事物的能力,也许通常被认为是可行性的极限,也是工程师和创新者的标志。LeCun 在 AI 人才中很少见,他既是算法设计领域的专家,同时在计算机工程领域也颇有建树。

LeCun 今年因其对计算机科学的贡献而获得了 ACM 图灵奖,他最负盛名的成就是在 1990 年代改进和完善了卷积神经网络(即 CNN)并使其实用化。他并非从零开始创造了 CNN,但他让 CNN 变得实用、可行。这奠定了机器学习革命的基础,在过去十年中,LeCun 与他的伙伴,另两位获奖者 Geoffrey Hinton 和 Yoshua Bengio 一起在机器学习中脱颖而出。

LeCun 本周三在新泽西州普林斯顿高等研究院进行了演讲,活动由研究所数学教授 Sanjeev Arora 组织,吸引了许多 AI 专家,包括英伟达的 AI 研究负责人 Anima Anandkumar 和 LeCun 在 Facebook 的学者同事 LéonBottou。

LeCun 的演讲是他最近在许多讲座中所采用的主题:如何超越常规深度学习的标记训练示例。他对听众说:“在监督或多任务学习中,我们将不会获得像人类一样可以泛化的智能。我们必须要换个方向。”

LeCun 认为,这个其他方向就是无监督学习。为了使无监督学习成为可能,整个领域可能需要在基于能量的学习方法上做更多的工作。

能量函数在 AI 领域已经存在数十年了。生物学家约翰·霍普菲尔德(John Hopfield)于 1980 年代首次通过后来称为“霍普菲尔德网络”(Hopfield Network)的方法普及了这一概念。这在当时的机器学习中是一个突破,让其他类型的学习算法可以处理能量场的概念,例如 Hinton 所研究的“玻尔兹曼机器”。

LeCun指出:“基于能量的学习已经存在一段时间了,但由于需要减少监督,最近我又想到了它。”

细节很难懂,但其基本思想是,无需创建大量带有标签的数据集(例如猫和狗的图片),也不用花费数千个小时训练 DeepMind 的 AlphaZero 这样的国际象棋游戏,而只是获取一些丰富的原始数据,例如大量 YouTube 视频,然后“喂”给计算机。

LeCun说:“让机器变得足够大,整天观看 YouTube 或 Facebook Live 就行。”由此可以训练机器预测视频中每一帧后的下一帧。预测与现实之间的兼容性就是所谓的能级(energy level)。能量越少越好,更兼容、更准确,因此神经网络需要努力达到理想的低能量状态。

原文链接:

https://www.zdnet.com/article/high-energy-facebooks-ai-guru-lecun-imagines-ais-next-frontier/

本文分享自微信公众号 - AI科技大本营(rgznai100),作者:CSDN App

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2019-10-18

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 怼完Sophia怼深度学习!细数完大神Yann LeCun 这些年怼过的N件事,原来顶级高手是这样怼人的...

    图片来源:PCmag.com 十多个小时前,深度学习大神Yann LeCun语出惊人,他宣布放弃“深度学习”这个词。因为媒体对这个词的炒作言过其实,混淆了大家真...

    AI科技大本营
  • 春节停车难?用Python找空车位

    【导语】今天这篇文章的选题非常贴近生活。营长生活在北京,深知开车出门最怕的就是堵车和找不到停车位。记得冬至那个周末,几个小伙伴滑雪回来找了一家饺子馆吃饺子,结果...

    AI科技大本营
  • 唇语识别技术的开源教程,听不见声音我也能知道你说什么!

    【导读】唇语识别系统使用机器视觉技术,从图像中连续识别出人脸,判断其中正在说话的人,提取此人连续的口型变化特征,随即将连续变化的特征输入到唇语识别模型中,识别出...

    AI科技大本营
  • 机器学习能量模型:Facebook的AI主管LeCun所想象的AI未来

    深度学习领域的大师Yann LeCun表示,AI的下一个发展方向可能是摒弃深度学习的所有概率技巧,转而掌握多种变化的能量值。

    大数据文摘
  • 业界丨Yann LeCun卸任Facebook AI实验室主任,称将回归科研

    大数据文摘
  • 危机中的隐私:新冠病毒大流行期间的自我披露研究(CS SI)

    我们研究了代表用户主导的英语会话的推特大数据集在2020年3月1日至4月3日的一个月里自我披露的发生率。通过一种无监督的方法来检测个人信息的自愿披露,我们提供了...

    Elva
  • python利用paramiko连接远程服务器执行命令的方法

    python中的paramiko模块是用来实现ssh连接到远程服务器上的库,在进行连接的时候,可以用来执行命令,也可以用来上传文件。

    菲宇
  • Customer Report这个Fiori应用必须和CRM耦合在一起么

    CRM Is needed for “customer reports” application.

    Jerry Wang
  • 不学无数 — Java 中 IO 和 NIO

    I/O 问题是任何编程语言都无法回避的问题,可以说 I/O 问题是整个人机交互的核心问题,因为 I/O 是机器获取和交换信息的主要渠道。在当今这个数据大爆炸时代...

    Java天坑
  • 线上 GC 告警,我是如何解决的?

    就在上周,晚上下班后在家上厕所,突然微信企业邮箱收到线上GC告警了:G1 Young Generation Count 超过阈值。我菊花一紧,裤子还没来得及提。...

    乔戈里

扫码关注云+社区

领取腾讯云代金券