幻想AI自己打开黑箱？谷歌工程总监说：所谓解释，全是编的

李杉 编译整理 量子位 报道 | 公众号 QbitAI

假设你开发了一个AI，让它做决策。结果，你可能根本没办法知道这些决策的依据是什么。

这种失去控制力的感觉，想想就不太好。

但是，这是深度学习系统的常态。于是越来越多的人认为，深度学习系统已经成了一个个“黑箱”，只有打开这些黑箱，我们才能放心地把AI用到各个领域。

有一些研究人员，想通过“让AI解释他们自己”的方式来打开黑箱。他们致力于让AI能用人类能看懂的方式解释自己的行为，这被称作“可解释的人工智能”或“XAI”。

看起来很美，但也有反对的声音。

Peter Norvig就对XAI的价值提出了质疑：

连人类自己都不太擅长解释自己的决策，又怎么能要求机器这么做？

△ Peter Norvig

Norvig是谷歌研究总监、AI经典教材《人工智能：一种现代的方法》的第二作者、AAAI fellow、ACM fellow。

所谓解释，全是事后编出来的

人类不擅长解释自己的决策？不对啊，每天都上演着各种各样的“你听我解释”呢……

Norvig相信，人类的那些解释，并不是真正的决策原因，而是事后想出来的。

他周四在澳大利亚新南威尔士大学演讲时说：“认知心理学家发现，当你问一个人的时候，你无法获得他真正的决策流程。他们其实是先作出决策，然后当你问他们的时候，他们再想出一套解释方案，但这或许并不是真的决策原因。”

这个事后想出的解释方案，往往是为了让之前的行动显得合理。

Norvig说，如果你要求人工智能用人话解释自己，它们也可能采取这种做法。

“所以，我们对待机器学习的最终态度也可能变成这样：我们训练一套系统得到答案，然后训练另外一套系统作出解释——你的任务是根据第一套系统获得的信息来来解释一下它的做法。”

还真的有人做了这样的研究。

今年年初，乔治亚理工学院的Mark Riedl等人就训练了一个AI，在玩《青蛙闯关(Frogger)》时，用人类语言解释自己的决策过程。

不过，负责“解释”的是另一套独立的算法，用人类玩Frogger时说的话训练过。所以，这个AI解释出来的“决策过程”，实际上只是根据游戏中遇到的情况，生成了一句人类可能说的话。

加州大学和马克思-普朗克信息学院的研究人员去年12月也发表了一篇论文，用人类的方法解释了一套基于机器学习的图像识别技术。

研究人员表示，尽管“通过获取模型中的隐藏信息”可以支撑这些解释，但它们“未必与系统的运作过程相符”。

UC Irvine(加州大学尔湾分校)的一项研究似乎更实在一点。

在去年发布的论文“Why Should I Trust You?”: Explaining the Predictions of Any Classifier中，研究人员描述了一个名为LIME的系统，这个系统解释自己决策原因的方式，是将输入数据中与决策相关的部分高亮标注出来。

此外，Norvig昨天也补充道：“解释本身还不够，我们还需要通过其他方式来监督决策流程。”

不看解释看结果

Novig表示，要了解人工智能是否存有偏见，更实际的做法不是了解内部原理，而是直接查看输出结果。

“如果我申请一份贷款，但却遭到拒绝，无论决策是人类还是机器做出的，当我想要对方作出解释的时候，对方都会说，你的抵押品不够。这可能是真正的原因，但也有而可能是它不喜欢我的肤色。但我无法通过它的解释知道真相。”他说。

“但如果我看看它在各种不同案例中的决策，便可以判断它存在一些偏见——通过一系列决策便可知道一些无法通过单项决策判断的事情。所以，能够给出解释固然很好，但展开一定程度的核查同样重要。”

谷歌自己的算法也被批存在偏见。例如，曾经有一段时间，在谷歌图片中搜索“手”或“宝宝”，只能显示白人的图片。2015年，该公司的Photos应用甚至将一对黑人夫妇错误地标记成“大猩猩”。

谷歌自动完成功能也涉嫌存在种族歧视和性别歧视。例如，当有人输入“Are jews”（犹太人是）的时候，系统会给出“a race”（一个种族）、“white”（白人）、“Christians”（基督徒）和“evil”（邪恶的）几个选项。

“这些结果不反映谷歌的观点。”谷歌去年12月回应《观察家》（TheObserver）的报道时说，只是“反映了整个网络的内容”。该公司还在回应《悉尼先驱晨报》的一篇类似报道时说：“我们承认自动完成功能不够科学，我们一直在努力改进算法。”

Norvig解释道，想要避免偏见，有一些比调查底层机器学习算法效果更好的方法。

“我们肯定有其他调查方法，因为我们有这样的机制。”他说，“我们可以看看，如果输入信息有一些差异，输出结果究竟会有所不同，还是与之前完全一样？所以，从这个角度来看，我们可以调查很多事情。”

不放心的各国政府

虽然从谷歌的角度来看，核查输出结果或许是一种好方法，但个人和政府可能会要求他们和其他所有采用机器学习算法的公司或机构采取更多措施。

△ DARPA向往的“可解释的AI”

美国军方就对AI的可解释性透露出了强烈的兴趣。

上个月，DARPA(美国国防部高级研究计划局)投入数百万美元，与10支研究团队签订了4年的协议，要开发可解释的新AI系统，和将这些解释传递给人类的交互界面。

今年早些时候，英国政府首席科学顾问在《连线》杂志上撰文称：“我们需要开发各种机制来了解算法的运行模式，尤其是通过机器学习在计算机系统的软件内不断进化的算法。”

欧洲立法者也在这一领域采取各种措施来保护个人用户。

将于2018年5月生效的欧盟《通用数据保护条例》限制使用“严重影响”用户的自动化决策系统。此外还设立了“解释权”，：当一个算法针对用户作出决策后，该用户有权要求其给出相应的解释。

在欧洲供应或运营，“或者监视欧洲人行为”的外国企业，可能也需要遵守这些规定。

虽然Norvig认为“让AI解释自己”这条路行不通，他还是对监管者的关注表示欢迎。

“我们现在开始了解具体的影响了，但现在给出答案还为时尚早。”他说，“随着我们开始看到人工智能的潜力，我们并没有坐以待毙，而是开始提出问题，试图了解日后的去向。这是好事。”