深度图像分类器的失败类型

一个深度图像分类器可以使用图像的边界，而不是对象本身，以超过90%的置信度确定图像类别。

尽管神经网络可以实现这些功能，但我们仍然不知道它们是如何运作的。当然，我们可以通过编程让它们学习，但理解机器的决策过程仍然很像一个具有令人眼花缭乱的复杂模式的花式拼图，其中有许多完整的部分尚未安装。

例如，如果一个模型试图对谜题的图像进行分类，它可能会遇到众所周知但令人讨厌的对抗性攻击，或者甚至是更普通的数据或处理问题。但是，麻省理工学院的科学家最近发现了一种新的、更微妙的失败类型，这是另一个令人担忧的原因:“过度解读”，即算法根据人类无法理解的细节，如随机模式或图像边界，做出自信的预测。

对于高风险的环境来说，这可能尤其令人担忧，比如自动驾驶汽车的瞬间决策，以及需要立即关注的疾病的医疗诊断。自动驾驶汽车尤其严重依赖能够准确理解周围环境，然后做出快速、安全决策的系统。该网络使用特定的背景、边缘或特定的天空模式来对交通灯和路标进行分类，而不考虑图像中的其他内容。

研究小组发现，接受CIFAR-10和ImageNet等流行数据集训练的神经网络存在过度解读的问题。例如，在CIFAR-10上训练的模型，即使在95%的输入图像缺失的情况下也能做出自信的预测，而剩下的图像对人类来说毫无意义。

“过度解读是一个数据集问题，是由数据集中的这些无意义信号引起的。这些高可信度的图像不仅无法识别，而且在不重要的区域，比如边界，它们只包含原始图像的不到10%。我们发现这些图像对人类来说毫无意义，但模型仍然可以高度自信地对它们进行分类，”麻省理工学院计算机科学和人工智能实验室博士生布兰登·卡特(Brandon Carter)说，他是一篇关于这项研究的论文的第一作者。

深图像分类器应用广泛。除了医疗诊断和提升自动驾驶汽车技术，还有在安全、游戏、甚至是一款可以告诉你某物是不是热狗的应用，因为有时候我们需要安慰。讨论中的技术是通过处理大量预先标记的图像中的单个像素来让网络“学习”。

图像分类是困难的，因为机器学习模型有能力捕捉这些无意义的微妙信号。然后，当图像分类器在ImageNet等数据集上进行训练时，它们可以根据这些信号做出看似可靠的预测。

尽管这些无意义的信号可能会导致现实世界中的模型脆弱，但这些信号在数据集中实际上是有效的，这意味着基于这种准确性的典型评估方法无法诊断过度解释。

为了找到模型对特定输入进行预测的基本原理，本研究中的方法从整幅图像开始，反复询问，我可以从这幅图像中删除什么?从本质上说，它会一直掩盖图像，直到你剩下最小的一块仍然可以做出自信的决定。

为此，还可以使用这些方法作为一种验证标准。例如，如果你有一辆自动驾驶汽车，它使用训练有素的机器学习方法来识别停车标志，你可以通过识别构成停车标志的最小输入子集来测试这种方法。如果它包括一个树枝，一天中的某个特定时间，或者不是停车标志的东西，你可能会担心汽车可能会在不该停的地方停下来。

虽然看起来模型可能是罪魁祸首，但数据集更有可能是罪魁祸首。“问题是，我们如何修改数据集，使模型能够更紧密地模拟人类对图像分类的想法，从而有望在自动驾驶和医疗诊断等现实场景中更好地概括，这样模型就不会有这种荒谬的行为，”卡特说。

这可能意味着在更可控的环境中创建数据集。目前，它只是从公共领域提取的图片，然后进行分类。但是，如果您想进行对象识别，例如，可能需要使用无信息背景的对象来训练模型。