NIPS机器学习炼金术之争,Twitter机器学习研究员参战

新智元报道

编辑:胡祥杰

【新智元导读】LeCun阿里炼金术战火再升级:俩人在Facebook上展开了直接的对话,火药味甚浓。Twitter机器学习研究员发表了见解:机器学习需要什么样的研究方法?

2017NIPS "Test of Time"论文大奖获得者Ali Rahimi (阿里·拉希米)在长滩现场的演讲中把机器学习称为“炼金术”(Alchemy)引起的机器学习界大讨论仍在蔓延。

昨天,著名的深度学习领军人物 Yann LeCun 在自己的主页上回应阿里,他说自己完全不同意阿里的说法,还说,It's Insulting, yes. But Never Mind: It's Wrong。

这事还没完,阿里随后晒出了自己在NIPS现场的合影,并称“A NIPS rigor police reuinion”(NIPS 严谨警察聚在一起),LeCun随后转发并评论:Rigor 警察没引起 Rigor Mortis(死后的第三阶段,也就是尸体变硬)。

看来LeCun老人家也是够毒舌。

早些时候,两人还在Facebook上直接过招:

一石激起千层浪,今天,网络上出现了更多机器学习界的代表发声,其中较为有代表性的便是Twitter机器学习资深研究员 Ferenc Huszár。 Ferenc 此前是Magic Pony的首席科学家,去年Twitter出资1.5亿美元收购这家位于伦敦的初创企业后, Ferenc 加入Twitter。

Ferenc说,和你们中的许多人一样,我从头到尾看完了阿里·拉希米(Ali Rahimi)的NIPS演讲,很享受。

如果你还没有,我建议大家看看。(视频在文末)

我也读了 Yann LeCun 对阿里演讲内容的反驳。他说阿里所指的“炼金术”实际上是工程学。虽然我认为LeCun实际上反对东西阿里在演讲中并没有提到,但是他提到了一些很重要的点:Tricks、经验证据和理论分别在工程中扮演什么角色

他说在混战中,我也想补充一点自己的见解和经验,以下内容为Ferenc的观点:

创新的不同方式

我们可以将机器学习的知识作为一个图来思考,其中各种方法是一个个节点,线条则表示方法之间的连接或类比。

而创新指的是让图不断增长,这可以通过不同的方式来实现:

1.增加新的节点

这是关于“跳出去”的思考,关于发行一些全新的、新奇的方法,当然,最好还是有用的。最近这种ML创新的例子包括Herding,目标噪声,批量规范,dropout和GAN。这就好像是你在图中增加了一个新的节点,可能与图的其他部分有些微弱的联系,但是一开始你并不能想所有人清楚地解释自己的逻辑。

2.在既有的节点中发现新的连接

这其实指的为新的方法提供解释。比如,将k-means解释为期望最大化,dropout解释为变分推理,随机梯度下降解释为变分推理,GANs作为f-GANs,蝙batchnorm作为自然梯度,降噪自动编码器作为分数匹配等。这些都是有着巨大影响力的工作,在机器学习中,我们非常需要这类工作,因为这些连接经常使我们能够改进或扩展技术,从而取得更可预测的进展。

3. 完成模式

这指的是类比推理。您注意到图中有很多不完整的模型,并通过完成模式推断出一些节点必须存在。在NIPS 2010的Sam Roweis研讨会上,我记得Zoubin Ghahramani开玩笑说他和Sam如何一起通过完成超立方体(hypercubes)写了一大堆基本上免费的论文,就像下面的那样。长期以来,我的博客读者会知道,Sam和Zoubin的unifying review 是我最喜欢的论文之一。请注意,这种“模式完成”也发生在贝叶斯世界之外:请参阅双向卷积RNN或PixelGAN自动编码器。

这些创新模式中的每一个在建立知识和推动发展的过程中都是重要的。我们所在的社区倾向于看重#1,只要论文标题中出现标志性热词(比如DeepLearning)。从个人来看,我们被激励去写大量的论文,所以我们大部分时间都花在#3上,这可以说是风险最小的增量项目。我认为我们对2的奖励或鼓励还不够。在我看来,这是阿里谈话中的主要信息之一过多关注基准,数据集和实证结果,我们实际阻碍了那些解释为什么方法起作用或不起作用的人们设下障碍。

今天大概没有多少人会记得最开始提出GAN的论文取得的结果是怎么样的。回到当时,那些效果真的不错,但是在今天,看起来却让人忍俊不禁。

GAN可以说是一个非常有影响力的、伟大的新想法。如果这篇论文是在今天,很肯定能是没有人接收的,因为照片看起来不够漂亮。 Wasserstein GANs是一个好的想法,坦率地说,认识到这是个好想法,我根本不需要看实验结果。

同样,Yann认为神经网络在90年代被不公平地抛弃,因为缺乏凸优化方法的收敛性保证,今天我们也在不公平地否定任何不产生最新或近SOTA结果的方法或思想。我曾经评审过一篇论文,其中一位评审员写道:“如果这种方法成为与现有方法相比最有效的方法,那么这项工作可能是新颖的……”。这是错误的,至少没有比因为缺乏理论支撑而否定新创业正确多少。(这是顺便说一下,这不是阿里建议的)

可以使用非严谨的方法,但是...使用非严谨的评估就是你的不对了

就我而言,现在我习惯于使用非严谨的方法,或者理论框架不完善或者根本不存在理论框架的方法。但是,对于任何评估不严格的论文,任何人都不应该叫好。

在GAN论文中,我们展示了漂亮的图片,但是我们绝对没有严格的方法来评估样本的多样性,或者是否发生了任何形式的过度拟合,至少不是我所知道的。从我的经验来看,让一个足够新颖的深度学习理念起作用,整个过程是非常脆弱的:一开始,没有任何东西起作用,然后开始工作但不会收敛,然后收敛了,但是却得到错误的东西。整个事情偶是行不通的,而且往往还不清楚具体是什么工作的,直到某一天忽然一切忽然好起来。这个过程类似于多个假设检验。你可以跑无数的实验,并报告那些看起来最好并按照你预期的方式行事的结果。但是,根本问题是,我们是将实施一种方法所需的软件开发过程与手动超参数搜索和结果挑选相结合得到的结果。因此,我们所报道的“经验证据”可能比人们所希望的更加具有偏向和不可靠性。

一旦可用,你就不应该抵制理论

我同意Yann所说,在理论或严谨的分析变得可行之前,开始采用技术是有好处的。然而,一旦理论洞察变得可用,关于经验表现的推理往往继续超越严谨。

让我告诉你我遇到过几次的事情(你可能会说我只是为此而苦恼)。

具体是:有人提出了一个想法,他们表明,使用一个非常大的神经网络和大量的技巧,加上大概几个月的手动调整和超参数搜索,一些大的、复杂的问题可以得到很好的解决。

我发现这个方法有个理论上的问题。

但是人们说:在实践中仍然运作良好,所以我没有看到问题。

这是我提出对“定期抽样”和“弹性权重合并”批评后得到的回复。在这两个例子中,批评者指出这些方法在“现实世界的问题”上工作得很好,而在“定期抽样”的例子中,人们评论说“毕竟这个方法在基准评测中是第一位的,所以必须是正确的”。不,如果一个方法有效,但是却是出于错误不同于作者给出的原因,这里还是有问题。

你可以把“对数据集进行深度学习的方法”作为一个统计测试。我认为实验的统计力量是非常弱的。我们做了很多事情,比如提前停止,手动调整超参数,运行多个实验,只报告最好的结果。我们大概都知道在测试假设时我们不应该做这些事情。然而,在ML论文中报告实证结果时,这些实践被认为是很好的。许多人继续认为这些报道的实证结果在支撑某一种方法时,是“有力的经验证据” 。

什么才算是严谨?

我想感谢阿里发表这个演讲。是的,这是一种对抗。侮辱(Insulting,LeCun用词)?我觉得挑衅是一个更好的词。显然,这至少有点争议。它虽然,包含了几点我不同意的内容。但我不认为这是错的。

它触及了很多我认为应该得到社区认识和赞赏的问题。 严谨指的不是学习理论、收敛保证、边界或定理证明。 智力上的严谨适用于所有机器学习,无论我们是否已经完全开发出用于分析的数学工具。

严谨意味着彻底,详尽,细致。它包括良好的实践,如诚实地描述方法的潜在弱点、考虑可能出现什么问题、设计突出和分析这些弱点的实验、对某些算法的行为做出预测,并凭经验证明其行为满足预期、拒绝使用不合理的评估方法、接受和处理批评。

所有这些应该适用于机器学习,不管它们是不是深度学习,实际上它们都适用于整个工程

阿里·拉希米(Ali Rahimi)的NIPS演讲:

LuCun回应的地址:https://www.facebook.com/yann.lecun/posts/10154938130592143

本文来自企鹅号 - 新智元媒体

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏人工智能快报

谷歌科研人员提出单样本机器学习技术

在看到某个物体一到两次之后,我们大多数人都能认出来。但支持计算机视觉和语音识别功能的算法却需要接触数千个例子,才能对新的图像或词语变得熟悉。 现在,谷歌Deep...

2795
来自专栏DT数据侠

你发的每一条微博,背后都有一个人工智能

微博是很多人最常使用的社交平台。吐槽、追星、发自拍、看视频、开直播等,如今微博的内容和互动形式越来越多元化。由此累积下来的庞大数据和复杂的用户互动场景,也让人工...

690
来自专栏AI研习社

博客 | 「压缩」会是机器学习的下一个杀手级应用吗?

雷锋网AI 科技评论按:机器学习的研究正进行的如火如荼,各种新方法层出不穷。尽管这样,还有一个问题摆在面前,研究这些算法对于现实有什么用。特别是当讨论起机器学习...

674
来自专栏CDA数据分析师

业务分析人员必备:Excel数据可视化分析方法大全

小A是奇葩公司销售运营管理部门一名老员工,他每周最重要的工作是从公司各系统中收取不同数据为老板制作业务分析报表,小A对工作认真负责,在他提交的报表中从未发生过数...

2147
来自专栏全栈数据化营销

一个案例介绍完整的数据分析\挖掘的思路和过程

最近有很多小密圈的朋友问我,到底数据分析是怎么做才能做到全面和深入呢?恰好,昨天也看到一个做电商的小朋友,在做电商分析的时候,所操作的基本上就是对各个数据指标建...

1452
来自专栏数据结构与算法

1018. 打电话

1018. 打电话 (Standard IO) 时间限制: 1000 ms  空间限制: 262144 KB  具体限制  题目描述 某市的IC卡电话计费标准...

3079
来自专栏机器人网

机器人视觉技术五大设计难题

机器人视觉使机器人具有视觉感知功能的系统,是机器人系统组成的重要部分之一。目前,广泛应用于电子、汽车、机械等工业部门和医学、军事领域。对于机器人视觉技术的设计,...

2684
来自专栏IT派

请查收:写给纯小白的机器学习指南

注:很多人都在谈人工智能,谈机器学习,但他们有自己的理解,作者从一个非常有趣的场景开始延伸,步步深入,对机器学习有独特的解释和指导。 这里是另一家创业公司的聚会...

3366
来自专栏AI科技评论

学界 | 照片欲静而 AI 不止,MIT 黑科技让图像秒变小视频

你有想过吗?给你展示任何一张照片的时候,你看到的也许不仅仅是静止的图像,而是一段灵动的“小视频”。如今,在机器学习的帮助下,可以根据静止的照片,预测到接下来的一...

3267
来自专栏企鹅号快讯

能处理视频的AI

任何一位对人工智能(AI)技术怀有极深戒备的读者都会因Nvidia的最新产品平添几分不安——他们搞出了能处理视频图像AI;从有图有真相到有视频有真相,而以后或许...

3596

扫码关注云+社区