来源 | The Gradient
作者 | Gary macus
编译 | 夕颜
出品 | AI科技大本营(ID:rgznai100)
【导读】也许每篇论文摘要都必须强制加一块内容,说明所提出方法的局限性。这样就可以避免一些科学上的误解和炒作。 -Sebastian Risi(@ risi1979)
媒体通常热衷于报道人工智能、纳米技术或者任何领域中每一个微小的进步,并将之视为一次将很快从根本上改变世界的巨大胜利。当然,偶尔也会有新的发现没有得到足够曝光。比如晶体管刚问世时并没有引起巨大的轰动,最初很鲜有人欣赏互联网的全部潜力。但是对于晶体管和互联网,有成千上万的次要结果被夸大了,很多产品和想法并未变成现实,比如没有实现的冷聚变等先进技术,以及那些无疾而终的实验最终也没能重塑世界,辜负了当初人们对它们的热切期望。
晶体管 图片下载自图虫创意
当然,部分原因是因为人们都喜欢革命的故事,而觉得一点微小的进步无聊。但是,研究人员通常扮演着“同谋”的角色,因为他们过于依赖曝光,这会对他们的资金甚至薪资产生重大影响。在大多数情况下,媒体和相当一部分研究人员都对这种现状感到满意,也正是因为如此,源源不断的结果首先被大肆宣传,然后被默默地遗忘。
不信可以回顾下过去几周的三个成果,这些结果在重要媒体上都以具有误导性的方式被报道:
实际上,访谈的连贯性源于(a)系统中庞大的人类写作语料库和(b)人类记者对连贯性的过滤。之后,虽然Brynjjolffson发表了一个更正,但他的原始推文的转发量比更正文的转发量高出约75倍,这一点也证明狂欢式但具有误导性的新闻,传播的速度往往要快于更为冷静的新闻。
三体问题的解决方法
不幸的是,过度夸大AI问题不应该仅归咎于媒体本身。实际上,几十年来,自AI诞生以来,许多(尽管不是全部)走在前沿的AI人士都在煽动炒作。
这可以追溯到早期的开拓者们,他们认为我们现在所说的人工智能(AGI)距现在只有几十年。1966年,当时在MIT人工智能实验室为Gerald Sussman分配了一个“暑期视觉项目”(The Summer Vision Project),目的是集中暑假的闲散劳动力解决计算机视觉问题,力争产出模式识别研发的里程碑式的结果。众所周知,机器视觉问题在五十年后仍未得到解决。而回头看看,距离首次发布乐观的预测之后六十年,通用AI似乎仍有几十年的路要走。
现在,这种趋势仍在继续。以下是一些近期AI历史上,一些最著名的当代AI大佬的示例:
同时,调查工作被歪曲的人员的回应通常是沉默的,甚至是默许。Open AI的首席科学家llya Sutskever在推特上表示:“《经济学家》采访了GPT-2,而这次采访是有意义的”。当我问到他《经济学人》采访中的例子很明显是择优挑选之后,他是否仍坚持自己的看法之后,他没有给出回应。
一个多月前,OpenAI CTO Greg Brockman 亲自发推文说:“ GPT-2书面论文已提交给《经济学人》青年论文竞赛…一位法并不知道该论文是由AI写成的评委评论道:“措辞有力,有理有据,但这个想法并非独创。”但他却没有提到,其他一些法官对同一篇文章更多地持否定的态度。例如,文章“没能快速点题;观点不新颖,太含糊,夸张,修辞太过”(评委2),最令人发指的是(评委6)“论点并没有从根本上回答问题,也没有提出一个新颖的想法”且书面/结构糟糕。此外,我认为这并没有显示出对现有气候政策或IPCC出台的科学文献的深刻理解。”如果没有阅读过Brockman的推文(除非人关注了他并了解全文),人们不会意识到评委的负面评价。(而社区中很多人的注意力仍然集中在OpenAI最初宣称的GPT-2“太危险”以致无法发布。)
研究社区的其他习惯进一步让人加深了AI近在咫尺的错觉。例如,DeepMind经常撰写论文鼓吹他们工作的潜力,但缺乏关于潜在局限性的章节,而这些章节是大多数严肃科学工作的结论章节的主要内容。相反地,他们经常通过招请推理(invited inference)来暗示,他们正在努力解决棘手的问题和严峻的挑战,他们所使用的技术也应该解决其他严峻的挑战,而不考虑其他问题,例如自然语言理解与他们一直关注的游戏的性质有着天壤之别。他们在Nature上发表的关于AlphaGo和《星际争霸》 的论文都用到了这一策略,基本上没有讨论潜在的局限性。
谢天谢地,并非该领域的所有人都夸大了他们的工作。在过去一年左右的时间里,我拜读了Pieter Abbeel和Yoshua Bengio精彩而客观的讲话,他们既注意到深度学习(和深度强化学习)的优势,又同时指出了未来的挑战,并直言不讳地告诉我们还需要走多远。(Abbeel强调了实验室工作与可以在现实世界中工作的机器人之间的差距,Bengio强调了必须纳入因果关系)。我希望这是常态,而不是特例。如果不是这样,决策者和公众很容易感到困惑。因为报道往往会做出过高的评估,因此公众开始担心能够取代他们工作的AI,但是这种AI现在不存在,在可预见的未来也不会存在。
实践者为什么要关心这个问题?毕竟,对AI的炒作让每个人都受益,不是吗?公众的热情意味着投入更多的研究资金,以及更多的人致力于AI。如果有更多的钱和人,我们将更快地获得人工智能。有什么坏处呢?
我认为这是一种公地悲剧(tragedy of the commons)的形式,就像许多人在特定的水域过度捕捞,在短期内每个人都为了自己的利益尽可能多地捕鱼,直到整个鱼群消失殆尽,所有人都受苦。在AI中,也有这样的风险:当公众、政府和投资界认识到他们兜售的对AI的优缺点不切实际的描述与现实不符,那么新的AI寒冬可能会来临。(第一次AI寒冬出现在早先的炒作和失望周期之后的1974年。)
注:公地悲剧,1968年,美国学者哈定在《科学》杂志上发表了一篇题为《公地的悲剧》的文章。英国曾经有这样一种土地制度——封建主在自己的领地中划出一片尚未耕种的土地作为牧场(称为“公地”),无偿向牧民开放。这本来是一件造福于民的事,但由于是无偿放牧,每个牧民都养尽可能多的牛羊。随着牛羊数量无节制地增加,公地牧场最终因“超载”而成为不毛之地,牧民的牛羊最终全部饿死。(来源:百度百科)
我们已经看到了许多事件,事后看来可能是预兆:
Facebook的聊天机器人系统M于2018年终止
放射科医生检查结果 图片下载自图虫创意
Waymo无人车 来源:Waymo官网
目前,政府、大公司和风险投资家正在对AI进行大量投资,主要是深度学习。如果他们开始意识到这其实是过分乐观,那么整个领域可能会遭受打击。如果无人驾驶汽车和对话机器人迟到一两年,没问题,但是当无人驾驶汽车、医疗诊断和对话式AI的实现的期限越长,新AI寒冬到来的风险就越大。
总结一下,关于AI的错误信息很常见。尽管过分报道并不普遍,但即使是有知名度的媒体也常常歪曲结果。公司利益是导致这个问题背后很常见的原因。个别研究人员,甚至某些最杰出的研究人员有时也会这样做,而当他们的结果被误解时,更多的研究人员则只是旁观,而没有公开澄清。
错误的信息并非无处不在——一些研究人员直截了当地指出局限性,也有报道准确地报道并承认了局限性,但是总是把微小的进度当做革命性进展的趋势是普遍存在的,因为这符合人类对胜利的热衷。
最后,最终的结果可能会破坏该领域,最初帮助激发公众兴趣的初衷,反而会引发AI寒冬。
我提出了六点建议,让读者、记者和研究人员可以公正地评估他们所获得的每个新成果,并在讨论论文的局限性部分提出相同的问题:
在每份研究报告和媒体报道的末尾,进行一点建设性的自我批评,并不需要每次都有,但多多进行自我批评可能对早日实现预期结果大有帮助。
原文链接:
https://thegradient.pub/an-epidemic-of-ai-misinformation/
(*本文为AI科技大本营翻译文章)