【质疑AI泡沫】当我们谈论机器学习时，我们究竟在说些什么

【新智元导读】当下“机器学习”或者说“人工智能”过热，虽然在所难免，但作者指出，媒体、投资人尤其应该具有怀疑的精神，任何声明都需要有证据支撑。如今人工智能仍处于发展早期，有些常用数据库甚至包含1989年的信息。作者还提醒，人工智能并不能改变经营的根本，任何智能产品，我们都应该想清楚，“智能”是一个附加属性，还是从本质上改变了这件产品。为了产业更好发展，人工智能从业者应当加强普及技术现状。

（文／ Stephen Merity）当互联网热潮兴起的时候，任何一家公司在前面加上“e”或者后面加上“.com”，估值就会大增。世人都看重了互联网的潜力，而有些时候这种潜力给一些人带来了过高乃至不切实际的期望。纵使期望有可能实现，也很少有公司能汇聚人才和远见将一个完善的互联网商业模式落实。

自此之后，互联网经济泡沫兴起，随后又破灭。我们也见证了互联网的潜力得到充分发挥，改变了人们生活和沟通的方式。很多可能性都在几年后成了现实，而其中一些情况哪怕是最有远见的观察家也没有料到的。互联网泡沫破灭后，虽然没有互联网技术造成致命影响，但不可否认让世界局势变得更加复杂。

AI尚处于发展期

而在人工智能领域，现在可以肯定泡沫要大于现实。这里讨论的“人工智能”采用最普遍意义上的意思，就是媒体上出现的那些：人工智能就是任何比我们预期的更加智能的系统。这样既考虑到专业人士的意见（根据专业定义，AI/ML应用已经称不上智能），同时也纳入了非专业人士的看法，比如一个利用基本统计学原理的应用程序也可能会被报道成显得智能。

就像互联网经济泡沫出现前的互联网技术一样，人工智能也尚处于初级发展阶段。这样说并非指AI缺乏潜力，我的意思是有些人的期待太高了。这自然会导致跟之前类似的情况，只不过把“e”、“.com”换成了“AI”。而且，就跟当年的互联网经济泡沫一样，如今也很少有公司或团队拥有那些实现他们期望的人才和远见。

AI显然比互联网技术更能激发人的想象力，这在某种程度上也导致一些非专业的评论家对AI的未来作出过激的预测。而专业评论家反对这些预测的言论，在公众看来重要性是一样的。这并非指公众盲从权威，而是我们现在缺乏证据。专家提出的论点是有道理的，但实际情况却是他们拿不出证据支撑起论点。

科幻小说里描写的情景，远比现实有趣，世人也当然会受前者吸引，这是一个根本但却不得不接受的现实。就像医疗企业宣称实现重大进展一样，对人工智能我们也应当时刻持有一定的怀疑。AI/ML/NLP/CV领域的研究者可能会对此感到痛苦，不过对他们而言，安全没有必要夸大研究，因为现实已经足够刺激。

谁也不能阻止人持有远大梦想，但将AI泡沫吹大并非是好事。

媒体、投资人与创业者的尴尬

为什么我们会处于这种情景呢？简单说，是人都喜欢故事，而且故事越有意思，人就会愈加关注，也越有可能参与进去。

在AI领域，企业家、媒体和投资人之间，这种关系变得更加极端。吸引媒体和投资人的方法之一便是夸大事实。不仅如此，媒体自身还有在此之上进一步夸大事实以吸引读者的动机。因此，什么都加上“AI”这种潮流也与媒体报道脱离不了关系。

最让我担忧的是哪一点呢？我从朋友那里得到授权，公开我们的一段对话。

有媒体要报道一家初创公司，其目标读者是AI天使投资人。而我朋友的产品①眼下没有任何AI性能，②至少目前还没有为产品增加AI性能的计划。我朋友告诉我：

“很遗憾，AI就是那家媒体想要写和报道的东西，记者坚持只有加了AI才能让故事“不无聊”。我一开始根本没提AI，但后来我出于无奈只能聊相关话题，对话才进行得下去。近期内我都不认为我们有办法改变他们的主意。”

上面说的可能是一个极端的例子，把完全跟AI无关的产品和AI关联到一起。但即使产品跟AI有关，同样的逻辑也会发生，不管是有意还是无意，记者都可能夸大AI在产品中的作用。同样的情况也出现在投资人的身上。

学术界对科研成果的评价有明确的标准（而且都还有人认为这些标准不够严谨）——媒体和投资人在报道或者投资时，应该以更高的标准衡量提供给他们的东西。

怀疑的精神

我很喜欢的科技记者Jack Clark在Twitter上的签名是 "the world's only neural net reporter"，他在报道时一定会参考文献并且要对方拿出证据。

当然，我们不可能要求每个人都这么做，但有些基本问题还是可以问的。

“公开你模型的失败案例是避免追捧的一种方式。”

—— Kevin Murphy ICML 2015

没有AI系统会适用于任何情景。如果有研究者告诉你他们建立了一个超厉害的全能模型，要么他们不是一般的幸运，要么他们就是在说谎。就算他们的模型具有一定的可扩展性，但根据信息理论，一些根本的局限是无法避免的。

• 需要多少数据
• 是不是无监督的（需不需要带标记的数据）
• 系统能否应对不存在的词汇，比如“我朋友Rudinyard对我刻薄”，很多AI系统都无法回答“谁对我刻薄？”因为词汇表里并没有Rudinyard这个词。
• 随着输入的增加，系统的准确率会降低多少？
• 系统有多稳定？

现实世界 ≠ 数据库

能真正代表现实世界的数据库目前数量极少。原因有很多，其中之一是我们创建的数据库通常只是对现存AI系统功能的微小扩展。就好比学校给学生的试卷，也极少反映现实世界的实际情况。我们用于训练AI系统的数据也是一样的。

你或许会问，问什么不提供给机器反映现实世界的数据（假设你真能收集得到）。理论上，人类通过测试或实验作为发现新的东西，通常事先都有假说预期的结果，然后将两者相比看之间的差距。如果知道这个任务系统肯定会失败，做这件事情根本就没有意义。

因此，系统在处理某个数据库时性能良好，并不意味着在现实场景中也能得到同样的结果。就算是不怎么样的自动驾驶模型，如果数据好并且标准简单，也有可能在测试中得出超过90分的成绩。真正的问题是剩下那百分之几，比如在高速路上路况复杂的情况下，事关人命，系统准确率再高也没有任何意义。但如果系统出错后果并不严重，或者人能在系统出错时加入管理，那么AI系统当然具有正面意义。

此外，很多数据库都仅限于特定领域。比如说，自然语言处理中的一个标准数据库Penn Treebank，里面主要是1989年的《华尔街日报》。我再重复一遍：1989年。几十年已经过去，语言也会发生变化，现今的语料库会大不同于以前。不仅如此，《华尔街日报》刊登的主要是金融文章，在Penn Treebank得分极高的系统，在另外的数据库表现就惨不忍睹。

再来一个问题是，系统表现的基准是什么？对有些简单的任务，有些简单得超出你想象般的方法就能在绝大部分时候得出很高的准确率。也正因如此，在图像识别任务中，使用包含人类基准、新建数据库的简单算法，回答正确率可能超过专门设计来识别图像的复杂系统，仅仅是因为后者的训练数据没有包含人类基准。

任何没有发表同行评议论文的重大技术突破声明都值得怀疑。

“单独做研究，质量会下降，这就是为什么说军方研究烂。”

——Yann LeCun ICML 2015

人工智能领域发展速度之快，从业者都应该尽最大努力与时俱进。一个无名团队突然拿出一个超强系统的可能性当然不高，但绝对不能说肯定没有。但这也同时说明，这个系统还没有经过学术界的同行评议——不过，这也是很正常的，有很多有用的人工智能系统可能都不会在会议上发表论文——但这一点你需要注意。

重复一遍：

1. 任何结果都需要证据支撑；
2. 如果模型成功实现，恭喜你，但没有经过评估是不行的——我们不知道这个系统应该表现得有多好（基准是什么），哪些情况下可能出错，或者出错频率有多高。

AI并不会改变经营的根本

如果你商业运营情况糟糕，使用人工系统也不会改善问题。对此，一个很好解决的问题是，如果用免费的人力代替AI系统，结果是否会有提升。要知道，在现实世界做任何事情，要达到人类水平，都是一件极其困难的事情。

此外，我们还可以问自己，使用了AI系统仅仅是增值还是从根本上带来了革新。很多“智能产品”仅仅是加了个AI，让自己对消费者或投资人更有吸引力。当然，这种情况下，增添的智能性能也是有用的，但我们需要判断清楚这个增添的智能性能是否从根本上起到了改变。

如果免费的人力拯救不了你的商业运作模式，人工智能系统并不能帮你解决问题。

结论

AI是一个极具潜力，尚处于发展初期的领域，同时里面也存在着大量的未解之谜和不确定的地方。也正因此，这些谜和不确定在一定程度上让AI泡沫满天飞。

正如深度学习库Keras的建立者Francois Chollet所说，AI从业者应该把普及深度学习技术当成首要任务。这种普及不止是在学术界和产业界，也包括媒体、投资人和广大公众。

我们应当对抗这股夸大AI的趋势，从上面的几点做起。