【Goldberg回应LeCun】DL社群缺乏学习，夸大研究成果

【新智元导读】Yann LeCun 对于 Yoav Goldberg 的驳斥得到了 Goldberg 第一时间的回应。他表示自己并不反对在语言任务上使用深度学习方法，他反对的是“深度学习社群”进入他们不理解也不愿意花时间去学习的领域。而在 ArXiv 的问题上，LeCun 没有抓住他讲话的重点。他认为“在 arxiv 上及早发表论文没问题，但夸大研究成果危害极大”。

昨天，新智元向大家介绍了 Yann LeCun 和 Yoav Goldberg 由 《自然语言对抗生成》这篇论文引发的争论。（传送门：【LeCun论战Yoav】自然语言GAN惹争议：深度学习远离NLP？）。在 LeCun 在 Facebook 上发表了驳斥 Goldberg 的博文后，Yoav 马上撰文回应。

我不反对在语言任务上使用深度学习方法，我反对的是“深度学习社群”进入他们不理解也不愿意花时间去学习的领域

很感谢我的帖子引起了兴趣和争论，Yann还在Facebook 上做了回应。让我对这个回应进行一下回应。

[ 我之所以选择在这里（medium.com）而不是在Facebook 上回应他，是因为我有一个老Facebook 帐户，不是激活状态，我宁愿不用它。我已经在一个社交网络上花了大量时间，不想再被拖进另一个社交网络。此外，这里我有更好的格式选项，更容易控制内容。]

Yann 认为我澄清的帖子是“往回找补”，我认为不对。它详细阐述了原帖中的一些观点，改变了语气，但信息本身并没有改变。无论如何，对于Yann的回应，我这篇回应里有更多的“找补”：

我不反对在语言任务上使用深度学习方法。

我的意思是，我本人就是许多使用深度学习处理语言的论文的合著者。我做过名为“用LSTM 做东西”的演讲。我刚刚出版了一本关于NLP 的神经网络方法的书。深度学习的方法对于NLP来说是革命性的，我认为这一点现在已经很成熟了。

我反对的是“深度学习社群”进入他们只有非常肤浅的理解的领域（包括NLP ）的倾向，并且连一点了解这一领域的时间都不愿意拿出来，就做出了广泛而毫无根据的论断。这不是“尚未建立共同语言”的问题。这是不花功夫去熟悉您正在工作的领域的问题。

不一定了解以前所有的工作，但至少要了解基本的定义吧？至少要了解基本的评估指标吧？声称自己取得了“中国诗歌生成的最先进成果”（摘自论文摘要）是荒谬的。

说“我们使用CFG 进行评估”，而甚至不考虑CFG 代表什么，这并不是简单的马虎问题。使用PCFG 分配的似然性作为“捕获句子的语法性”的方法是完完全全的错误（我指的是“不正确”，而不是“不道德”）。

[而写出1-hot 编码向量的矩阵在视觉上类似于盲文代码（Braillecode），因此“启发了我们的方法为什么有效”（Zhang和LeCun，2015，arxiv 版本 1，through 4 out of 5）则纯粹是可笑。

当我说“你应该尊重语言”时，我不是说你应该尊重别人此前的努力和方法（虽然这对你可能也适用），但你应该注意到你试图解决的问题的细微差别。至少去进行充分学习，让你的评估有意义。

一些“核心深度学习”研究人员就做得很好，做出了出色的贡献。Kyunghyun Cho 也许就是他们中最突出的。

在 arxiv 上及早发表论文没问题，但夸大研究成果危害极大

现在，说说arxiv 这部分：

我认为在这部分，Yann 的回应确实没有抓住重点。

我不介意在arxiv 上快速发出论文。我认识到了arxiv出版和短平快的显著优势。但其缺点也不容否认。具体来说，我担心的是科学与 arxiv 所促进的公共事业的混淆；更巨大的影响和权力的滥用；以及深度学习社群中目前存在的一些 arxiv 出版动向。

在 arxiv 上及早发表论文没问题。但错误地表示和过度声称你做了什么是有问题的。起了“自然语言对抗生成”这样宽泛标题的不严谨论文是有害的。这正是专利制度（总体上是一个合理的想法）和沽名钓誉（patenttrolling）（这是有害的滥用）之间的区别。

声明使用softmax 而不是 WGAN 中的 1-hot 输出用于离散序列的想法，这没问题。

而如该论文所述，在把对抗训练用于 NLG 这一想法上立旗占坑，是不正确的。

Yann 的论点可能是：“但人们可以阅读论文，看出他实际的贡献是什么，这会随着时间的推移得到修正”。随着时间的推移得到修正，这可能是正确的，但从短期和中期来看，这些来自著名团队的普遍言过其实的论文仍然非常有害。大多数人不深入阅读论文，而只读标题，有时是摘要，有时也是导言。当论文来自既定的团体时，人们往往不加怀疑地相信他们自己的声明。

“严谨的研究人员”可能不会上当，但大众肯定会被误导。所谓大众，我指的是并非在某一特定子领域从事研究的人群。这包含产业界的从业人员、学界的同僚、相关专业在读学生以及未来会参与论文及项目拨款评估的专家。这篇论文出来不久，我就已经不止一次听到有人说，“你是搞生成的？你试过用 GAN 了吗？我最近看了篇论文讲到他们通过 NLG 的对抗学习取得了超酷的结果”。

这对未来几年内要申请项目经费的 NLG 研究人员尤其是种危害和干扰（很多经费的审批权都掌握在非常有能力但又并非专注于某一研究领域的专家组手中），他们或者得被迫浪费宝贵的空间和精力来搞这篇论文及与 Hu 等人辩论，解释这篇论文为何不相关，或者就会因研究了“已解决的问题”而直接被否决，即便这篇论文本身都存疑，且 Hu 等人根本没做出什么，即便两篇论文评估都极糟。

ArXiv 的高效对这一领域有非常积极的作用。“能力越大，责任越大”，我们务必要做到不滥用这种能力。我们可以促使 ArXiv 的发布影响更广泛，通过更负责地行为方式，以及推广更科学的出版文化，崇尚及鼓励正规的评估及研究结论的准确表述，反对（同时推行惩戒体系）民粹主义言论、沽名钓誉及夸大其实。

原文地址：https://medium.com/@yoav.goldberg/a-response-to-yann-lecuns-response-245125295c02