LeCun推荐：警惕炒作周期，神经网络研究是一场漫长的竞赛

作者：Moshe Y. Vardi

编译：肖琴

【新智元导读】最新一期《ACM通讯》发表专栏文章，以深度神经网络研究起起伏伏的历史为例，提醒人们“将研究视为一场漫长的竞赛，才有可能获得真正的突破”。

最新一期《ACM通讯》发表专栏文章，以深度神经网络从备受怀疑，到2018年Geoffrey Hinton、Yoshua Bengio和Yann LeCun获得图灵奖的一段漫长历史为例，提醒人们“将研究视为一场漫长的竞赛，才有可能获得真正的突破”。

本文作者Moshe Y. Vardi是以色列著名数学家和计算机科学家，美国莱斯大学计算机科学教授、Ken Kennedy信息技术研究所所长。

Moshe Y. Vardi

Yann LeCun也在Twitter上推荐了这篇文章：

研究是一场漫长的竞赛，耐心和耐力都是必要的

位于加州帕洛阿尔托的未来研究所(IFTF)是一家美国智库。它成立于1968年，是兰德公司(RAND Corporation)的一个分支机构，旨在帮助企业规划长远的未来。

罗伊·阿玛拉(Roy Amara)从1971年至1990年担任IFTF主席，他于2007年去世。阿玛拉最著名的是创造了关于技术效果的阿玛拉定律(Amara's Law)：“人们总是高估一项科技所带来的短期效益，却又低估它的长期影响。”Gartner的“技术炒作周期”最能说明这一规律，它的特征是“过高期望的峰值”，接着是“泡沫化的低谷期”，然后是“稳步爬升的光明期”，最后是“实质生产的高原期”。

当我听说2018年图灵奖被授予Yoshua Bengio、Geoffrey Hinton和Yann LeCun，以表彰他们“在概念和工程上的突破，使深度神经网络成为计算的关键组成部分”时，我不禁想起阿玛拉定律。这个决定并不十分令人惊讶。毕竟，很难想象还有什么其他计算技术在过去十年中有如此引人注目的表现和影响。引用图灵奖的公告：“近年来，深度学习方法一直是计算机视觉、语音识别、自然语言处理和机器人技术等应用领域取得惊人突破的重要原因。”

但是，为了将这一贡献置于适当的历史背景中，有必要反思神经网络的悠久历史。1943年，神经生理学家沃伦·麦卡洛克(Warren McCulloch)和年轻的数学家沃尔特·皮茨(Walter Pitts)写了一篇关于大脑神经元如何工作的论文。他们用电路模拟了一个简单的神经网络。1958年，康奈尔大学的神经生物学家弗兰克·罗森布拉特(Frank Rosenblatt)发明了感知器(Perceptron)，一个单层的神经网络。《纽约时报》报道称，感知器是“一台电子计算机的雏形，(海军)希望它能够走路、说话、看、写、自我复制，并意识到自己的存在。”不幸的是，感知器是非常有限的，这在Marvin Minsky和Seymour Papert 1969年的著作“Perceptrons”中得到了证明。炒作达到顶峰后，随之而来的是幻灭的低谷。这个所谓的“第一个AI冬天”，除其他外，还体现在AI研究经费的下降上，一直持续到上世纪80年代初。

1982年，加州理工学院的约翰·霍普菲尔德(John Hopfield)发表了一篇论文（Neural networks and physical systems with emergent collective computational abilities，被称为Hopfield Network），其重点不是建模大脑，而是创造有用的设备。他用清晰的数学方法，展示了这样的网络是如何工作的，以及它们能做什么。大约在同一时间，美国-日本合作在日本京都举行“合作/竞争神经网络联合会议”。随后，日本宣布“第五代项目”。美国期刊刊登了这篇报道，引发了人们对美国可能会落后的担忧。不久，资金再次流入。神经信息处理系统大会(NIPS)于1987年召开。然而，炒作的新高峰之后，又一次出现了幻灭的低谷。再次引用图灵奖的公告：“到21世纪初，LeCun、Hinton和Bengio是坚持这种方法的一小群人中的成员。”事实上，他们重新点燃AI社区对神经网络兴趣的努力最初遭到了质疑。这种幻灭导致了“第二个AI冬天”，一直持续到上世纪90年代。

直到本世纪初，改进的算法、改进的硬件(GPU)，以及非常大的数据集(ImageNet有1400万多个标记图像)结合起来，达成了令人印象深刻的突破。并且很明显，很深(很多层的)机器视觉神经网络有显著在效率和速度方面具有显著的优势。Hinton和他的同事们的想法带来了重大的技术进步，他们的方法现在已经该领域的主导范式，并因此获得了2018年图灵奖。

这个故事的寓意是，研究是一场漫长的竞赛；耐心和耐力都是必要的。然而，我记得上世纪90年代初，在一个工业研究实验室举行的一次研究评估会议上，有人在数据挖掘方面的开创性工作没有得到认可，因为“他已经做了两年了，现在还不清楚这项工作是否会有什么进展。”我与普林斯顿大学高级研究院创始人Abraham Flexner有着同样的担忧；在1939年发表的《论无用知识的有用性》(The Usefulness of Useless Knowledge)一文中，Flexner探讨了一种危险的倾向，即为了所谓的实用主义而放弃纯粹的好奇心。

成功的研究没有单一的公式。有时候，把注意力集中在眼前的问题上是有意义的，但是，通常情况下，将研究视为一场漫长的竞赛，才可以获得戏剧性的突破。

原文链接：

https://cacm.acm.org/magazines/2019/9/238955-the-long-game-of-research/fulltext