观点 | Yoav Goldberg撰文再回应Yann LeCun:「深度学习这群人」不了解NLP(附各方评论)

选自Medium

机器之心编译

作者:Yoav Goldberg

参与:黄小天

昨日,机器之心发布了一篇题为《从 Yoav Goldberg 与 Yann LeCun 争论,看当今的深度学习、NLP 与 arXiv 风气》的文章,文中 Yann LeCun 在 Facebook 对 Yoav Goldberg 的批评文章做出了回应。接着,Yoav 又在 Medium 对 Yann 的回应进行了再回应,甚至稍后在推特上也有争论。机器之心对 Yoav 的第二次发文进行编译,并广泛收集了国内外各个平台上的各家评论,试图对这次事件有一个全面客观的描述。译文内容不代表机器之心立场。原文链接见文末。

很感谢大家对于我上篇博文(An Adversarial Review of「Adversarial Generation of Natural Language」)的关注和讨论,也很感谢 Yann 在 Facebook 上做出的回应。下面,我将对其回应做一次再回应。

(我选择了在 Medium 而不是 Facebook 上做再回应,是因为我并不太常使用 Facebook,所以索性不用。我已经把大把时间花在了社交网络上,不想再多跳进一个坑。同时,Medium 更有利于我组织文章格式,把控内容。)

Yann 指出我的上篇博文是「背弃式」的(back-pedaling),我并不如此看。对于上篇博文中批评的那篇蒙特利尔大学的论文,我言之有据,虽然不是严肃的论文形式,但是其表达的观点不会改变。不管怎么样,下面我会继续用我的「背弃式」言论来回应 Yann:

我并不反对将深度学习方法应用于自然语言任务上。

我的意思是说,come on。我是很多把深度学习用于自然语言的论文的联合作者,我曾做过题为「LSTM 应用」的演讲。最近我发表了一本关于如何把神经网络方法应用于 NLP 的书籍。深度学习方法正在为了 NLP 而发生改变,我认为这部分现在要很好地确立起来。

我所反对的是这样一种趋势,深度学习这群人(deep-learning community)对于其所要踏入的领域(包括 NLP)只有肤浅认识,不多花时间对问题领域做深入了解就直接给出大而未经证实的主张。这不是「交流机制还没有建立」的问题,而是不花时间和精力去通晓你所在领域的问题。不一定要知晓先前的所有工作,但要知道基本的定义和评价指标。宣称取得了「当前最佳的汉语诗歌生成结果」(引自论文摘要)是荒诞的。声称「我们评估了 CFG 的使用」,却没有搞明白 CFG 代表什么不仅仅是草率、马虎的问题了。使用 PCFG 分配的可能性作为衡量以「捕捉句子的语法性」是完全错误的(并非不道德)。

(并且写下由 1-hot 编码向量组成的矩阵外表上看起来和盲文代码相似,因此这是「我们的方法为什么有效」的灵感(Zhang 和 LeCun 2015 arXiv 论文 1-4 版 https://arxiv.org/pdf/1502.01710v4.pdf),这篇论文是愚蠢的。)

当我说「你应该尊重语言」时,我并不是在说你应该尊重之前的其他努力和方法论(尽管也可以对你很有帮助),而是在说你应该去注意所要解决问题的细微差别。至少有个足够的了解,这样你的评估才有意义。

一些「核心深度学习」研究者在这方面做的很好,贡献很大。Kyunghyun Cho(译者注:纽约大学计算机科学系助理教授)也许是其中最突出的一个。

现在,回到 arXiv 的问题上来:

我认为 Yann 的回应在这个问题上错失了重点。我并不介意在 arXiv 上快速发文。我看到了 arXiv 出现的明显收益和快速转变。但是也应该知道其缺点。我尤其关心科学与 arXiv 所推动的公共事业的混淆;雪球效应以及权力的滥用;深度学习社区中现有的一些出版现象。

提早在 arXiv 上发文没有问题,但是名不副实以及过分宣称就有问题。马虎的带有大而空洞标题的论文(比如自然语言的对抗式生成)就是有害的。这正是合理的专利系统与沽名钓誉的真正区别。

声称在用于离散序列的 WGAN 中使用了 softmax 而不是独热输出没有问题,但是占坑声称将对抗式训练应用于 NLG 就存在问题,正如这篇论文所做的那样。

Yann 的论点可能是:「但是人们可以阅读论文,辨别出什么才是好论文,时间会告诉我们答案。」时间的纠正也许是对的,但是中短期内知名团队的过分宣传的论文依然是有害的。大多数人并不深读一篇论文,他们只看个标题、摘要或简介,但是对于知名团队的论文,人们倾向于相信其主张而不质疑。认真的研究者也许不会这样做,但是大多人很可能会被误导。这里我所指的大多数人并不真正工作于这一精确的子领域。这包括产业界人士、同僚、潜在的学生以及论文和津贴的潜在评论者。在这篇论文出来的很短时间内,我在若干个场合下已经听说,「哦,你对生成感兴趣?你尝试使用 GAN 了吗?我看到在最近的这篇论文中他们把 GAN 应用于 NLG 取得了很酷的结果。」这对于在来年申请津贴的 NLG 研究者来说极其有害和令人厌恶,因为他们要么浪费宝贵的时间和精力处理这篇论文和 Hu 等人的论文,并解释它们为什么不相关;要么他们因为致力于「这一已经解决的问题」而被解雇,尽管这篇论文和 Hu 等人的论文并没有实际贡献太多价值,尽管两篇论文的评估都非常糟糕。

arXiv 的快节奏对当前领域有着积极的影响,但是「能力越大,责任越大」,我们必须小心谨慎才不至于滥用。我们可以通过负责任地采取行动,推动更加科学化的出版文化,从而使 arXiv 变的更强大,在其中我们重视和鼓励合理的评估和研究成果的精确呈现,并劝阻(甚至开发一个惩罚系统)民粹言论、过分宣称和夸大其事。

原文链接:https://medium.com/@yoav.goldberg/a-response-to-yann-lecuns-response-245125295c02

各方评论

对于 Yoav 的第二次发文回应,Yann 旋即在推特上展开了回应:

谷歌大脑研究人员 hardmaru 直接引用了 Yoav 第二次发文的原话「oh, you are interested in generation? have you tried using GANs? I saw this recent paper in which they get cool results with adversarial learning for NLG」来表达自己的看法:

Keras 作者、谷歌深度学习研究员 François Chollet 认为我们不应该将精力浪费在这种学术琐事上:

以及推特上稍早一些的评论,比如 Quora 工程副总裁 Xavier Amatriain 的 tweetstorm:

俄勒冈大学计算机与信息科学助理教授 Daniel Lowd 谈了下深度学习对评审制度的改变:

UC Santa Barbara 计算机科学系助理教授王威廉在微博上就 arXiv 占坑现象表达了其看法:

知乎上的也有不少点评(详情可参阅:https://www.zhihu.com/question/60902505),比如知乎用户 Yun Zhou:

约翰·霍普金斯大学 Research and Teaching Assistant 梅洪源对 Yun Zhou 的答案作了评论补充:

清华大学计算机科学与技术系助理研究员刘知远的点评:

另外,刘知远还在其微博上发表了 LeCun 对于 Yoav 的批评的看法:

北京邮电大学 PRIS 模式识别实验室陈老师(微博名称 爱可可-爱生活)在微博上也表达了其看法:

最后,再附上来自机器之心公众号第一篇文章报道的的读者评论:

本文为机器之心编译,转载请联系本公众号获得授权。

原文发布于微信公众号 - 机器之心(almosthuman2014)

原文发表时间:2017-06-11

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏专知

【NIPS2017】深度学习真的不需要理论指导了?图灵奖得主讲座无人问津,贝叶斯之父Judea Pearl落寞身影背后引人深思

【导读】最近NIPS 2017 "Test of Time"论文大奖获得者Ali Rahimi 在长滩现场的演讲中把机器学习称为“炼金术”(Alchemy)引起...

3727
来自专栏新智元

【遗失的秘钥】贝叶斯定理:人工智能的进化论?

贝叶斯定理正在变得如此流行,以至于在CBS剧《生活大爆炸》中也出现了它的身影。纽约时报说,贝叶斯统计学家“遍布一切,从物理学到癌症研究,从生态学到心理学”。物理...

3458
来自专栏AI研习社

博客 | 玩转「马里奥」的算法能搞定「口袋妖怪」吗?

现在,你很可能已经听说过机器人玩游戏的水平超过人类了吧。这些机器人的一种设计方法是给它们明确地编程,设定一组输入和一组输出之间的对应关系;或者也可以让它们自主学...

1014
来自专栏企鹅号快讯

深度学习真的不需要理论指导了?图灵奖得主讲座无人问津,贝叶斯之父Judea Pearl落寞身影背后引人深思

【导读】最近NIPS 2017 "Test of Time"论文大奖获得者Ali Rahimi 在长滩现场的演讲中把机器学习称为“炼金术”(Alchemy)引起...

2279
来自专栏机器之心

专访 | 先声教育CTO秦龙:有限的算法与无限的新意

37511
来自专栏量子位

在鉴定名画真伪这件事上,专家可能要被AI代替了

原作 Jackie Snow Root 编译自 Technology Review 量子位 出品 | 公众号 QbitAI 鉴别画作真假的难度非常大,还特别烧钱...

2824
来自专栏新智元

NIPS2018大会门票遭疯抢!11分钟秒光,刷个牙就没了

昨天,神经信息处理系统大会(Neural Information Processing Systems,NIPS)开放注册,会议门票在短短11分钟内就售罄;半小...

2442
来自专栏大数据文摘

机器视觉与深度神经网络—洗去浮华,一窥珠玑

3194
来自专栏AI科技评论

中科院百人计划专家深度解析:银行业务光凭“刷脸”真的靠谱吗?

雷锋网按:本文内容来自云从科技创始人、中国科学院百人计划周曦博士在硬创公开课的分享。在未改变原意的基础上进行了编辑整理。 明明可以靠脸吃饭”这句话不再只是一个网...

3876
来自专栏腾讯高校合作

犀牛鸟人物丨专访刘偲老师:图像之美像素级语义理解研究

2563

扫码关注云+社区

领取腾讯云代金券