如何看待EMNLP2021 best paper? 邱锡鹏教授：以为走错会场了

每天给你送来NLP技术干货！

整理：zenRRan

出品：深度学习自然语言处理公众号

昨天EMNLP2021放出了最佳论文：

大家在知乎做了讨论，原链接如下：

https://www.zhihu.com/question/495487596

邱锡鹏

晴天的芝麻饭团

我在这个领域中只能算是个萌新，所以对这些的看法还可能不是很成熟，请见谅。

依我看，“Visually Grounded Reasoning across Languages and Cultures“ 作为best long paper完美的突出了在我们自然语言处理这个领域里其中的三项paradigm shift：

一、多模态信息对语言理解的重要性

二、现有数据中以西方国家为中心的偏见

三、对精心data curation的重视

一，在语言理解方面，我们从纯属语言信息中能获得的对世界的理解是有限的。我们作为人类之所以可以有效的理解语言信息是因为我们在多模态自我经验作为基础上的泛化能力。举个例子，我对一束花这个概念的理解不仅是因为我读过讲述花草的文章；它更多来源于因为我触碰过它的花瓣，闻过它的花香，看过它在光天化日之下的色彩，等等的这些经验。当别人用语言，用这些词来形容其他东西的时候，我也可以有效的利用这些多模态自我经验去产生对新事物的理解。一个模型再怎么读过上亿片文章，没有这些多模态信息，也还是会对事物概念的理解有所欠缺，就例如你试图对一个盲人讲述色彩的概念似的。有些事情，纯属用语言来做是办不到的；一是多模态研究可以增强我们现有模型对语言的理解，二是语言研究可以增强模型对别的模特的理解，比如视觉。

二，现有数据中以西方国家为中心的偏见是一个严重问题。不同文化对不同概念的理解是有所不同的，尤其在语言方面。例如，有些语言中的某些单词在其他的语言中是没有直接翻译的。在研究中包含来自不同文化和不同国家的参与者一是可以更好的了解不同文化的思维方式，二是可以量化这些差异和增强现有人工智能技术的accessibility，减少目前人工智能技术里存在的对部分人群的边缘化现象。在这点上，很多研究组是不会去多考虑的。算法进步虽说重要，但我们也不能盲目的去追求更高/更低的数字；人工智能能对社会方面的贡献也得考虑考虑啊。

三，ImageNet虽说是一个开创性的数据库，但它也存在着许多数据方面的偏见。这个可能是无法避免的吧，因为总是会有一个在数据集有多大和在数据集的策划程度之间的权衡，毕竟man power也就这么点啊，哈哈。你让我一年内去manually annotate上亿个数据点我也没办法做到啊。在这个方面上，这篇文章依我看找到了一个不错的平衡，也突出了数据管理在减少偏见方面上的重要性。

总之，对这个领域以后的研究有很大的期盼哦～

顺便，也趁此机会作为今年一个被选中EMNLP Outstanding Paper的共一作之一，自我宣传一下hhh 欢迎来看我们“MindCraft: Theory of Mind Modeling for Situated Dialogue in Collaborative Tasks" 在11/7号的oral presentation，很期待与大家分享我们的工作～

不知大家发现没有，今年数据集或者以数据集为核心贡献的文章包圆了EMNLP的长、短、demo最佳论文。

那只能说明，NLP学术界的算法创新的确已经要见顶，更大更复杂更贴近实际场景需求的数据集更加让人重视，当然也包括对数据集的统一化标准化处理。

“算法-数据-算法-数据…”这是必然的上升螺旋，作为研究人员也要服从历史的进程。

拉面师傅

不知大家发现没有，今年数据集或者以数据集为核心贡献的文章包圆了EMNLP的长、短、demo最佳论文。

那只能说明，NLP学术界的算法创新的确已经要见顶，更大更复杂更贴近实际场景需求的数据集更加让人重视，当然也包括对数据集的统一化标准化处理。

“算法-数据-算法-数据…”这是必然的上升螺旋，作为研究人员也要服从历史的进程。

ZenMoore

不只是多模态和数据集，

看 Outstanding Paper 里面 Theory of Mind 那篇，是从认知科学的角度切入 NLP.

NLP 本质上做的是认知而不是感知，不像 CV 感觉就是感知智能之集大成者。所以个人感觉从认知科学那里找找突破口也不错(≧∇≦*)... 虽然这可能很理想主义。

感觉多模态和数据集体现出来的，是 NLP 还不能从感知升级到认知而不可避免的内卷（当然，不是说这种内卷没必要）。

所以现在说 NLP 技术见顶还为时尚早，反而个人觉得，NLP 要做认知智能之集大成者，还有一大片荒地要开垦，只不过现在还没有找到那把锄头，所以只能看看怎么打磨石器而已。

这是在宏观上个人的一点拙见，至于微观...多模态真的有趣哇（所以拿 Best Paper 个人感觉没那么奇怪，只是和 EMNLP 有点点不搭）！NLP 数据集真的是又少又重要又难做又不吸引人，很希望这块儿能再蓬勃一点。