物体识别遇见知识图谱

论文背景

在计算机视觉领域中，人们常常意图通过图像与视频解释这个世界，尽管在过去的十几年里，该领域取得了辉煌的成就，但归根结底，相对于人的理解程度，机器仍有较大的差距要追赶，无论采用何种有效、精妙的深度学习算法，它们都忽略了有关这个世界的背景知识，这是我们需要解释现实世界中的图像时所需要的。而这篇论文就是将知识图谱引入物体识别中，取得更好的效果。该论文发表于人工智能顶级会议IJCAI。

论文思路

如图所示，我们使用现有的深度学习工具可以分别识别两图中的物体，即左图中存在猫和餐桌，右图中存在熊。从常识角度来说，人们知道猫时而坐在桌子上，但对于熊来说却是不常见的。这个背景知识告诉我们，如果左图同时出现猫和桌子是合理的，而右图中若是同时出现熊和桌子则很有识别结果失误的可能。

如此记录背景知识的结构之一，即是采用知识图谱。上图给出了一个简单的知识图谱，它由顶点和边组成，顶点的cat（猫）、bear（熊）、table（桌子），边中的（sits on），即是我们上个例子中涉及到的背景知识。那么通过将计算机视觉中的物体识别技术与知识图谱结合，就可以将机器知识与人类知识结合，最终达到提升识别准确率的目的。

应用前景

本文的实验部分使用了MSCOCO15以及PASCAL07数据集，文中列举了几个例子，包括在办公室场景中由检测到台式电脑进而发现了键盘，在海滩场景中由检测到人进而发现了冲浪板。深度学习技术研究的蓬勃发展，使得计算机史上的许多难题得到了有效的处理，然而，深度学习由于其不可解释的特性而被人们所诟病，甚至有相关研究工作表明，通过人工伪造明显人类明显识别是假的图片，竟然可以让深度学习识别为真的。因此本文提供了一个很好的研究思路，即通过结合人类知识，使得深度学习的结果更符合现实逻辑，以提高最终结果的准确率。