赢家诅咒+经验主义？刚刚结束的ICLR上，谷歌研究员再批当前AI炼金术通病

大数据文摘作品

编译：冯琛、Aileen

在刚过去的ICLR会议中，谷歌人工智能研究员Ali Rahimi批评了整个机器学习行业对经验法则、试错法和迷信的过分依赖。

去年12月，谷歌公司的人工智能（AI）研究员Ali Rahimi在NIPS大会的演讲中批判了自己的研究领域，他说，计算机通过尝试和错误进行学习的机器学习算法已经成为“炼金术”的一种。

研究人员其实并不知道为什么某些算法行之有效，而其他算法徒劳无益，他们也没有严格的标准来界定AI架构的选择。因此，他获得了现场观众长达40秒的欢呼。

4月30日，Rahimi在加拿大温哥华召开的国际学习表征会议（ICLR）上再次强调了他的观点。在他和同事发表了名为《赢家诅咒？关于速度、进步与经验主义）Winner's Curse? On Pace, Progress, and Empirical Rigor》的论文中，他们记录了“机器学习炼金术化”的相关案例，并提供了加强AI严谨性问题的解决方案。

这篇论文被选进今年ICLR的workshop

公众号后台对话框内回复“炼金术”即可下载这篇论文~

Rahimi说：“人工智能领域存在一种‘痛苦’。我们中有很多人都感觉自己使用的是外星技术。”

现代科学中，炼金术常被用来比喻缺乏科学严谨性，没有明确理论基础支持，知其然而不知其所以然的研究工作。

炼金术是中世纪的一种化学哲学的思想和始祖，是当代化学的雏形。其目标是通过化学方法将一些基本金属转变为黄金，制造万灵药及制备长生不老药。现在的科学表明这种方法是行不通的。现代分析心理学的创始人卡尔•古斯塔夫•荣格认为，古代的炼金术实际上是一种人以自己的心灵发展为参照，对自然界现象的投射行为。 ——维基百科

“炼金术问题”和“AI的可重复性问题”不同：可重复性问题是指研究人员因为实验的不连续性和研究过程公开实践不一致性，导致无法重复彼此的研究结果。

“炼金术问题”和机器学习中的“黑箱问题”及“可解释性”问题也有区别：后者是指，难以解释特定的AI如何得到其结论。

就像Rahimi所指出的，是“某个机器学习系统是一个黑箱”和“整个领域都变成了黑箱”的区别。

如果没有深入理解构建和训练新算法所需的基本工具，创造AI的研究人员就会像中世纪的炼金术士那样诉诸传闻。François Chollet是一位来自加州山景城的谷歌计算机科学家，他补充道：“人们崇拜草包族科学，依靠民间传说和魔法。”（文摘菌：有关草包族科学，可以看看《别闹了！费曼先生》）

例如，采用一些小算法来调整他们的AI的“学习率“——算法在每次错误后可以自行纠正——而不理解为什么一个结果比其他的好。在其他情况下，AI研究人员对算法的训练更像只是在黑暗中蹒跚而行。

例如，实现了所谓的“随机梯度下降”，以优化算法的参数以尽可能降低故障率。然而，目前尽管有成千上万的学术论文和数不清的方法应用，整个研究过程还是依赖于尝试和错误。

梯度下降依靠尝试和错误来优化算法，图为在3D景观中寻找最小值。

Rahimi的论文强调了那些可能出现的精力浪费和次优表现。例如，论文指出，当其他研究人员对一个最先进的语言翻译算法进行大量训练后，简化后的算法其实更好，它能更高效地将英语翻译成德语或法语，这表明算法的原来创作者并不了解那些可以被简化掉的额外部分到底有什么用。

不过，在伦敦的推特机器学习研究人员Ferenc Huszár说，有时候算法里花里胡哨的东西才是唯一好的部分。在某些情况下，一个算法的核心在技术上存在缺陷，这意味着，这算法能有还不错的结果完全归功于其他应用在表面上的技巧。

Rahimi提供了一些关于了解哪种算法效果最好以及什么时候效果最好的建议。他认为，对于初学者来说，研究人员应该像研究翻译算法一样进行“排除法研究”：每次删除一部分算法，以查看每个部分的功能。

他呼吁进行“切片分析”，其中详细分析了算法的性能，以了解某些部分的改进可能会在其他地方付出代价。

“研究人员应该用许多不同的条件和设置来测试他们的算法，并且应该汇报算法在所有情况下的表现。”

加州大学伯克利分校的计算机科学家Ben Recht是Rahimi的炼金术主题演讲的合著者，他认为人工智能需要借鉴物理学，在物理学领域，研究人员经常将问题缩小到一个更小的“玩具问题”。“物理学家擅长以简单的实验设计从根源上诠释现象。”

一些人工智能研究人员已经开始采用这种方法，为了更好地理解算法的内部机制，在处理大量彩色照片之前，先在小的黑白手写字符上测试图像识别算法。

伦敦DeepMind的计算机科学家CsabaSzepesvári认为，机器学习领域也需要淡化对竞争性测试的重视。目前，如果一篇论文中报告的算法优于某些基准，那这篇论文会比其他深度揭示软件内部运行原理的论文更容易发表。

这就是花式翻译算法如何通过同行评审的原因。他还表示，“科学的目的是产生知识，科学家应该制造一些其他人可以采用和作为他人研究基石的东西。”

当然，并非每个人都同意这种批判。

Facebook的首席人工智能科学家Yann LeCun担心将过多的精力从前沿技术转移到核心理解上，可能会减缓创新速度并阻碍人工智能的实际应用。他表示，“这不是炼金术，而是工程学，工程学本就很混乱。”

Yann LeCun回应说，在科学技术史上，工程学上的进步几乎总是先于理论认识：望远镜诞生先于光学理论，蒸汽机先于热力学，飞机先于空气动力学，无线电和数据通信先于信息论，计算机先于计算机科学。

Ali Rahimi也回应了Yann LeCun对他的批评，感兴趣的话可以看看Reddit上关于炼金术问题的争论（链接内含Ali Rahimi在2017 NIPS上的演讲视频）：

https://www.reddit.com/r/MachineLearning/comments/7hys85/n_ali_rahimis_talk_at_nipsnips_2017_testoftime/

Recht却认为在研究中“有条不紊”和“冒险精神”的可以达到平衡：“我们两个都需要。我们需要了解哪些地方出现了失败，以便我们能够建立可靠的系统，并且我们必须推进前沿工作，以便我们可以做出更厉害的系统。”

公众号后台对话框内回复“炼金术”，下载Ali Rahimi批判AI炼金术的最新论文~

相关报道：

http://www.sciencemag.org/news/2018/05/ai-researchers-allege-machine-learning-alchemy