IBM研究人员通过探索缺失的事物来解释机器学习模型

AiTechYun

编辑：chux

在《白额闪电》（The Adventure of the Silver Blaze）中，福尔摩斯并不是通过能看到的线索解决了案件，而是通过注意到某一事物的缺失。在这种情况下，那只没有吠叫的狗帮助确定了罪魁祸首。

人类能够从缺失的东西中进行推断和学习的事实，并没有广泛应用于机器学习，但这是IBM研究人员团队想要改变的一部分。在今年早些时候发表的一篇论文中，该团队概述了使用缺失结果来更好地理解机器学习模型如何工作的方法。

“深度学习的一个缺陷是它或多或少类似于黑匣子，”该研究小组的成员之一Amit Dhurandhar解释说。“所以很难确定为什么要做出某个决定。答案可能是准确的，但在许多人类关键应用中，比如药物，这是不够的。”

为了更好地理解机器学习算法如何做出决策，IBM团队创建了一个“对比解释”系统：寻找缺失的信息，以便更好地理解机器学习模型是如何得出其结论的。这在实践中意味着，例如，如果机器学习模型正在识别狗的照片，则该方法不仅可以用于显示机器模型用于识别狗（如毛皮和眼睛）的内容，而且还有识别出一只狗必须没有的内容（比如它没有翅膀）。

与IBM团队无关的卡内基梅隆大学机器学习系副教授Pradeep Ravikumar说：“这是一个简单的想法，但这是一个非常重要的想法。”

Ravikumar指出，IBM的方法非常适合于在机器学习模型正在进行二元区分的领域做出决定，即某些东西存在或不存在，这意味着，例如有人被拒绝贷款，这不仅可以解释为信用报告中存在的内容（比如违约），还可以解释内容中没有的（比如这个人没有大学学位）。

在这篇论文中，IBM团队能够成功地将这种方法用于三种不同类型的数据集：大脑的fMRI图像，手写数字和采购欺诈数据集。在所有这些数据集中，研究人员能够更好地理解机器学习模型如何做出决策。

研究人员写道：“有趣的是，相关的消极因素在许多领域发挥着至关重要的作用，其中，解释很重要。因此，当不同类别的输入相互接近时，它们似乎是最有用的。例如，它们在区分流感或肺炎的诊断时更重要。”

Dhurandhar说，使用这种方法的关键是通过更好地理解人工智能，人类能够与这些模型一起工作，以获得比人类或机器学习模型自行完成任务得到的结果更好。另外，了解计算机为什么会做出决定会让人们更倾向于使用该模型的建议。

“人们想知道他们为什么被推荐东西，”他说。“一旦他们知道了，就会提高他们的购买意愿。”