【Nature】拥抱深度学习，不要过多苛求黑箱
【新智元导读】Nature 昨日刊发新闻特写，针对AI，特别是深度学习中的黑箱问题的来龙去脉进行分析。AI 中神经网络深度学习方法的黑箱问题是科学家们一直在尝试解决的问题，现在AI黑箱问题带来的负面影响已经出现，值得引起注意。一些科学家也在创造不同的AI路径，希望能让AI 更加透明。文章最后指出，不应该太过苛责黑箱问题，毕竟我们每天都在使用大脑，但同样对大脑的工作原理并不知情。
Pomerleau 院长仍然记得他第一次与黑箱问题交锋的经历。那是 1991 年，当时他尽力做的开创性尝试，现在已经稀松平常了：教计算机如何驾驶。
这意味着控制一辆经过特殊装备的军用悍马的轮胎，让它在城市街道上行驶，Pomerleau表示，当时他还是 CMU 的机器人博士生。跟他一起坐在悍马里的是一台计算机，他已经事先编了程，让计算机通过一个摄像头看到外面，弄清外面路上发生的事情并记住他下达的每一步指令。Pomerliau 希望，最终机器能通过联想实现自我驾驶。
每次出行，Pomerleau都要先训练系统几分钟，然后让机器自动驾驶。一切似乎都进展顺利——直到有一天悍马开到桥上时，突然向侧边急转。Pomerleau快速抓住方向盘夺回控制，才避免了一场事故。
回到实验室，Pomerleau试图找出计算机哪儿出了问题。他解释说：“我的论文的一部分是打开这个黑箱，弄明白它在想什么。”但怎样打开呢？他编程让计算机充当一个“神经网络”——一种以模仿人脑的人工智能（AI），在处理复杂的真实世界的情况时有望比标准算法更好。不幸的是，这种网络跟人脑一样难懂。它们以非常难以译解的方式传播信息，而不是把它们学到的信息整齐地作为数据记忆存储。Pomerleau在用各种不同的视觉刺激全面测试了他的软件的反应后才发现问题的所在：网络一直是使用路旁草地作为方向导航，所以到了桥上时，导航系统失灵了。
据那时二十五年过去，破译黑箱变得加倍困难，也更加迫切。技术本身已经在复杂性和应用性上大幅进步。Pomerleau现在是CMU的兼职机器人学教授，他把他那个小小的装在卡车上的系统描述为如今的机器配置的大型神经网络的“穷人版”。用大数据训练网络的深度学习技术如今已经广泛应用于商业，从自动驾驶汽车到根据用户浏览历史推荐商品的网站都有深度学习的应用。
它也有望成为了科学领域无处不在的技术。未来的射电天文观测站将需要深度学习从他们大得难以管理的数据中寻找有价值的信号；引力波探测器将需要它来理解和剔除噪音的细小来源；以及，出版商也需要它来搜索、标注数以百万计的科研论文和书籍。一些研究人员相信，搭载深度学习的计算机甚至可能拥有想象力和创造力。“你将只需要塞给机器数据，它会返回给你自然的法则。”加州理工学院一位物理学家Jean-Roch Vlimant说道。
但是，这些进步将使黑箱问题更加严重。例如，机器究竟是如何找到那些有价值的信号的？谁又能肯定它找得对？人们应该在多大程度上信任深度学习？“我认为相对这些算法，人类肯定是节节败退的，”哥伦比亚大学机器人专家Hod Lipson说道。他把这种情况和遇到眼睛的颜色不只有红、绿、蓝三种基色，还有第4种基色的外星人作类比。对人类来说，理解这个外星人如何看世界非常困难，外星人也很难解释给人类听。他说，“某种程度上，就像向一只狗解释莎士比亚。”
面对这些挑战，人工智能研究者所做的与Pomerleau无异——打开黑箱，并且做相应的神经科学研究以理解它内部的网络。欧洲粒子物理实验室CERN的Vincenzo Innocente说：“作为一名科学家，我并不满足于区分猫和狗。科学家想了解的是其内部的、具体的区别。”
第一个人工神经网络建于1950年代初期，几乎与可运行算法的计算机同时出现。想法来自模仿很小的计算单元——“神经元”——排列于由许多数字“突触”连接的层。底层的每个计算单元接收来自外部的数据，例如图像的像素，然后把这些信息传递到上一层的某些单元或全部单元。然后第二层的每个单元用简单的数学规则综合从第一层中得来的信息，并将结果继续向上一层传递。最终，顶层得到一个答案——例如说，把原始图片分为“猫”或“狗”。
这些网络的强大在于它们的学习能力。在得到一个训练过的数据库，以及相关的正确答案后，它们改变每一个连接的强度，直到最顶层的输出也得到正确的答案，进而有效地提升性能。这一过程模仿的是人类大脑通过增强或者弱化突触进行学习的方式，最终，会形成一个网络，能成功地处理新数据，这些数据并不包含在训练数据库中。
20世纪90年底，学习的能力是欧洲核子研究委员会（CERN）的物理学家最关心的问题之一，他们是首批在科学上常规性地使用大规模的神经网络的科学家。这一神经网络被证明在重构来自CERN大型强子对撞击产生的碰撞粒子的亚原子弹片轨迹上有着巨大的帮助。
但是这种类型的学习也说明了为什么网络中的信息是如此分散的：正如在大脑中一样，记忆是根据多个连接的强度编码的，而不是像传统的数据库一样储存在特定的区域。“你手机号码的第一个数字储存在大脑的哪个地方？很可能在一连串的突触中，也许离其他的数字所储存的地方不远”，加利福尼亚大学的机器学习研究者 Pierre Baldi 说。但是，大脑里面并没有一个清楚界定的字符序列来对这些数字进行编码。怀俄明大学的计算机科学家Jeff Clune说，“即使我们造出了这样的网络，我也不会很彻底的理解它，正如我们不能完全理解大脑一样”。
对于在各自领域需要处理大数据的科学家来说，这让深度学习变成了一种需要谨慎使用的工具。牛津大学的计算机科学家 Andrea Vedaldi 说，想弄明白为什么，想象一下在不远的未来，一个深度学习神经网络使用的是旧的乳房X线照片进行训练，再根据哪一位女性日后会患上乳腺癌来打标签。在经过这样的训练后，一个健康女性的组织在机器看来也可能是带有癌症的。“神经网络可能会直接地学习识别标签，也就是那些我们都不知道的特征，但这就是机器用来预测癌症的标准”，他说。
但是，如果机器不能解释它是如何学习的，就会给医生和病人带来相当窘迫的困境。对于一名女性来说，由于自己带有患癌的基因，就要选择预防性的乳房切割，这已经足够困难了。但是，如果连风险的要素是什么都不清楚，这一选择显然就更加困难了，虽然机器的推荐在预测上曾经非常准确。“问题是，信息是在网络中进行处理，而不是由我们处理”，谷歌的一名工程师，同时也是生物物理学家 Michael Tyka 说。“我们真的理解什么了吗？并没有——网络理解了。”
从2012年开始，有几个小组已经开始研究这一黑箱问题。多伦多大学的机器学习专家Geoffrey Hinton领导的一个团队参加了一个计算机视觉竞赛，首次展示了深度学习在从拥有120万图片的数据库中进行分类的能力，在这一方面，深度学习的方法远远超过了其他AI方法。
为了调查这是如何实现的，Vedaldi 的团队使用Hinton 开发的算法来提升神经网络训练，并进行了逆操作：该团队使用预先训练的网络，并尝试着重构组成这一网络的图像。这能帮助研究者理解机器是如何表示多个不同特征的。正如他们在问一个假设的癌症诊断神经网络：“X照片中的那一部分是让你认为有患癌风险？”
去年，Tyka 和谷歌的一些研究者采用了一个类似的方法来获得了最终的结论。他们的算法被称为DeepDream，以一张图像开始，比如一朵花或者一个海滩，然后通过调整来提高对于特定顶级的神经元的反应。如果神经元喜欢把图像标注为鸟，那么修正的图像将会开始在各个地方展示鸟的图片。最后的图像会产生幻觉，会有鸟从脸上、建筑上等地方飞出来。“我认为这更像是一种幻觉，而不是梦境”，Tyka说。他也是一名艺术家，当他和团队看到这一算法可以被用于创造性工作时，他向所有的人公开了这一算法。假以时日，Deep Dream 将会成为一种在线的虚拟感官。
一些技术能够将所有神经元的反应最大化，并不局限在最顶层。Clune的团队在2014年发现，黑箱问题也许比我们想象的更加严重：神经网络很容易被那些人们看起来只是随机噪音或者抽象几何图形的照片糊弄。比如，一个网络可能会把曲线归类为海星，或者把黑黄绸带认为是校车。此外，网络中引发相同反映的模型其实是在不同的数据库中进行训练的。
研究者想出了各种各样的方法来解决这一“被愚弄”的难题，但是迄今为止，并没有一个通用的解决方案出现。在现实生活中，这可能会是很危险的。Clune 说，尤其是在一些可怕的场景中，比如，居心不轨的黑客可能会利用这些缺点。他们可能会引导一辆自动驾驶车撞向广告牌，或者愚弄视网膜扫描仪，进而让入侵者可以进入白宫。“我们必须要鼓足干劲，做一些艰难的科学研究，让机器更加稳定，更加智能”，Clune说。
以上的这些问题已经让计算机科学家开始思考，深度学习和神经网络不应该是唯一的选择。剑桥大学机器学习研究员 Zoubin Ghahramani 说，如果AI意味着要给出人类能轻易理解的的大难，那么“世界上有大量的问题，深度学习是不能给出答案的”。2009年，康奈尔大学的Lipson和Michael Schmidt 展示了一个新的算法Eureqa，通过观看一个相对简单的机械对象——钟摆系统的运动，就能重现牛顿的物理学原理。这被认为是一种相对透明的方法。
从数学构建模块，比如加、减和sine 、 cosine的随机组合开始，Eureqa 从达尔文的进化论得到启发，采用了一个试错的方法来修正这些模块，直到获得一个最佳描述数据的公式。随后，它提出一个实验来测试模型。它的一个优势非常简单，Lipson说，“Eureqa产生的模型一 般拥有10几个参数，而一个神经网络则有上百万个参数”。
去年，Ghahramani 发布了一个算法，能让数据科学家的工作实现自动化，从检查原始数据到写论文都可以代劳。他的软件名叫Automatic Statistician,能从数据库中发现趋势和异常，并给出结论，其中包括推理的细节解释。Ghahramani说，这种透明性对于科学中的应用来说，是“绝对重要的”。但是，对于许多商业应用来说，这也同等重要 ，比如，在许多国家，银行拒绝贷款时有义务说明原因，但是一些深度学习算法并不能做到。
大数据公司Arundo Analytics 的主管数据科学家 Ellie Dobson 说，许多别的机构也存在相同的担忧。如果在设置英国的存款利息时某些地方出了问题，英格兰银行不能说：“是黑箱让我这么做的”。
虽然存在这些担心，但是计算机科学家一致认为，建立透明的AI 只是深度学习的一个补充，而不是替代。一些透明的技术可能在被描述为抽象的事实上运行得很好，但是，这些技术并不擅长感知——也就是从原始数据中提取事实。
这些研究者认为，最终，机器学习给出的复杂答案将会成为科学工具的一部分，因为现实世界本身就是复杂的：对于天气或者股票市场这些问题，一个还原论的、人造的描述可能是根本不存在。“有很多事情是我们不能描述的”，巴黎综合理工学院的应用数学家 Stéphane Mallat 说，“当你去问一名医生，他是如何诊断的，他可能会给你几个解释”，他说，“但是，为什么要成为一名好的医生需要20年的时间？因为信息不仅仅在书里”。
对于Baldi来说，科学家需要拥抱深度学习，但是不要对黑箱有太多的苛求。毕竟，大家的大脑其实都是黑箱。“你无时不刻不再使用大脑，你信任你的大脑，但是你对于大脑是如何工作的并不知情”。