【Goldberg回应LeCun】DL社群缺乏学习,夸大研究成果

【新智元导读】Yann LeCun 对于 Yoav Goldberg 的驳斥得到了 Goldberg 第一时间的回应。他表示自己并不反对在语言任务上使用深度学习方法,他反对的是“深度学习社群”进入他们不理解也不愿意花时间去学习的领域。而在 ArXiv 的问题上,LeCun 没有抓住他讲话的重点。他认为“在 arxiv 上及早发表论文没问题,但夸大研究成果危害极大”。

昨天,新智元向大家介绍了 Yann LeCun 和 Yoav Goldberg 由 《自然语言对抗生成》这篇论文引发的争论。(传送门:【LeCun论战Yoav】自然语言GAN惹争议:深度学习远离NLP?)。在 LeCun 在 Facebook 上发表了驳斥 Goldberg 的博文后,Yoav 马上撰文回应。

我不反对在语言任务上使用深度学习方法,我反对的是“深度学习社群”进入他们不理解也不愿意花时间去学习的领域

很感谢我的帖子引起了兴趣和争论,Yann还在Facebook 上做了回应。让我对这个回应进行一下回应。

[ 我之所以选择在这里(medium.com)而不是在Facebook 上回应他,是因为我有一个老Facebook 帐户,不是激活状态,我宁愿不用它。我已经在一个社交网络上花了大量时间,不想再被拖进另一个社交网络。此外,这里我有更好的格式选项,更容易控制内容。]

Yann 认为我澄清的帖子是“往回找补”,我认为不对。它详细阐述了原帖中的一些观点,改变了语气,但信息本身并没有改变。无论如何,对于Yann的回应,我这篇回应里有更多的“找补”:

我不反对在语言任务上使用深度学习方法。

我的意思是,我本人就是许多使用深度学习处理语言的论文的合著者。我做过名为“用LSTM 做东西”的演讲。我刚刚出版了一本关于NLP 的神经网络方法的书。深度学习的方法对于NLP来说是革命性的,我认为这一点现在已经很成熟了。

我反对的是“深度学习社群”进入他们只有非常肤浅的理解的领域(包括NLP )的倾向,并且连一点了解这一领域的时间都不愿意拿出来,就做出了广泛而毫无根据的论断。这不是“尚未建立共同语言”的问题。这是不花功夫去熟悉您正在工作的领域的问题。

不一定了解以前所有的工作,但至少要了解基本的定义吧?至少要了解基本的评估指标吧?声称自己取得了“中国诗歌生成的最先进成果”(摘自论文摘要)是荒谬的。

说“我们使用CFG 进行评估”,而甚至不考虑CFG 代表什么,这并不是简单的马虎问题。使用PCFG 分配的似然性作为“捕获句子的语法性”的方法是完完全全的错误(我指的是“不正确”,而不是“不道德”)。

[而写出1-hot 编码向量的矩阵在视觉上类似于盲文代码(Braillecode),因此“启发了我们的方法为什么有效”(Zhang和LeCun,2015,arxiv 版本 1,through 4 out of 5)则纯粹是可笑。

当我说“你应该尊重语言”时,我不是说你应该尊重别人此前的努力和方法(虽然这对你可能也适用),但你应该注意到你试图解决的问题的细微差别。至少去进行充分学习,让你的评估有意义。

一些“核心深度学习”研究人员就做得很好,做出了出色的贡献。Kyunghyun Cho 也许就是他们中最突出的。

在 arxiv 上及早发表论文没问题,但夸大研究成果危害极大

现在,说说arxiv 这部分:

我认为在这部分,Yann 的回应确实没有抓住重点。

我不介意在arxiv 上快速发出论文。我认识到了arxiv出版和短平快的显著优势。但其缺点也不容否认。具体来说,我担心的是科学与 arxiv 所促进的公共事业的混淆;更巨大的影响和权力的滥用;以及深度学习社群中目前存在的一些 arxiv 出版动向。

在 arxiv 上及早发表论文没问题。但错误地表示和过度声称你做了什么是有问题的。起了“自然语言对抗生成”这样宽泛标题的不严谨论文是有害的。这正是专利制度(总体上是一个合理的想法)和沽名钓誉(patenttrolling)(这是有害的滥用)之间的区别。

声明使用softmax 而不是 WGAN 中的 1-hot 输出用于离散序列的想法,这没问题。

而如该论文所述,在把对抗训练用于 NLG 这一想法上立旗占坑,是不正确的。

Yann 的论点可能是:“但人们可以阅读论文,看出他实际的贡献是什么,这会随着时间的推移得到修正”。随着时间的推移得到修正,这可能是正确的,但从短期和中期来看,这些来自著名团队的普遍言过其实的论文仍然非常有害。大多数人不深入阅读论文,而只读标题,有时是摘要,有时也是导言。当论文来自既定的团体时,人们往往不加怀疑地相信他们自己的声明。

“严谨的研究人员”可能不会上当,但大众肯定会被误导。所谓大众,我指的是并非在某一特定子领域从事研究的人群。这包含产业界的从业人员、学界的同僚、相关专业在读学生以及未来会参与论文及项目拨款评估的专家。这篇论文出来不久,我就已经不止一次听到有人说,“你是搞生成的?你试过用 GAN 了吗?我最近看了篇论文讲到他们通过 NLG 的对抗学习取得了超酷的结果”。

这对未来几年内要申请项目经费的 NLG 研究人员尤其是种危害和干扰(很多经费的审批权都掌握在非常有能力但又并非专注于某一研究领域的专家组手中),他们或者得被迫浪费宝贵的空间和精力来搞这篇论文及与 Hu 等人辩论,解释这篇论文为何不相关,或者就会因研究了“已解决的问题”而直接被否决,即便这篇论文本身都存疑,且 Hu 等人根本没做出什么,即便两篇论文评估都极糟。

ArXiv 的高效对这一领域有非常积极的作用。“能力越大,责任越大”,我们务必要做到不滥用这种能力。我们可以促使 ArXiv 的发布影响更广泛,通过更负责地行为方式,以及推广更科学的出版文化,崇尚及鼓励正规的评估及研究结论的准确表述,反对(同时推行惩戒体系)民粹主义言论、沽名钓誉及夸大其实。

原文地址:https://medium.com/@yoav.goldberg/a-response-to-yann-lecuns-response-245125295c02

原文发布于微信公众号 - 新智元(AI_era)

原文发表时间:2017-06-11

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏腾讯云技术沙龙

冀永楠:OCR的应用锦集及背后技术

今天分享的主要是OCR的部分。分享腾讯云在OCR上做的一些工作,以及腾讯云目前在云上面开放的OCR的一些服务。OCR简单来说就是让机器能看懂写的文字。我们手写的...

1.2K60
来自专栏AI科技评论

学界 | 战胜42位皮肤科专家,韩国团队训练5万例数据诊断灰指甲

AI 科技评论按:人工智能在专业医学领域全面战胜人类医生的例子还很少见。最近一项深层神经网络算法在诊断灰指甲方面,成功击败了 42 位皮肤科专家。灰指甲是一种常...

41270
来自专栏IT派

NLP之Wrod2Vec三部曲

N o . 1 基础篇 一.前言 伴随着深度学习的大红大紫,只要是在自己的成果里打上deep learning字样,总会有人去看。深度学习可以称为当今机器学习...

36550
来自专栏机器人网

中科院发布寒武纪深度神经网络处理器是什么?

第三届世界互联网大会于2016年11月16日在浙江乌镇召开,并举办了领先科技成果发布会。其中中国最引人注目的就是中国科学院计算技术研究所发布了寒武纪深度神经网络...

323100
来自专栏大数据文摘

牛!谷歌向量空间法:图片译成文字

41280
来自专栏机器之心

观点 | 图灵奖得主Judea Pearl:机器学习的理论局限性与因果推理的七大特性

56260
来自专栏新智元

【Nature 封面论文】机器学习掀起材料革命,人工智能或将颠覆人类科研方式

【新智元导读】昨日Nature封面论文:哈佛大学研究者借助机器学习算法,利用“废弃”数据成功预测新材料的合成,引发学界激论:人工智能真能加速发现神奇新材料吗?该...

52660
来自专栏AI科技大本营的专栏

资源 |《解析卷积神经网络—深度学习实践手册》

《解析卷积神经网络—深度学习实践手册》是南京大学计算机系机器学习与数据挖掘所(LAMDA)博士生魏秀参最近开放的一本CNN入门电子书,本书从实用角度着重解析了深...

404110
来自专栏UAI人工智能

强化学习Reinforcement Learning被MIT Technology Review列入 2017 年十大技术

17330
来自专栏AI启蒙研究院

警惕!《马航MH370调查》之阴谋论,做一个科学吃瓜群众

20140

扫码关注云+社区

领取腾讯云代金券