物体识别遇见知识图谱

论文背景

在计算机视觉领域中,人们常常意图通过图像与视频解释这个世界,尽管在过去的十几年里,该领域取得了辉煌的成就,但归根结底,相对于人的理解程度,机器仍有较大的差距要追赶,无论采用何种有效、精妙的深度学习算法,它们都忽略了有关这个世界的背景知识,这是我们需要解释现实世界中的图像时所需要的。而这篇论文就是将知识图谱引入物体识别中,取得更好的效果。该论文发表于人工智能顶级会议IJCAI

论文思路

如图所示,我们使用现有的深度学习工具可以分别识别两图中的物体,即左图中存在猫和餐桌,右图中存在熊。从常识角度来说,人们知道猫时而坐在桌子上,但对于熊来说却是不常见的。这个背景知识告诉我们,如果左图同时出现猫和桌子是合理的,而右图中若是同时出现熊和桌子则很有识别结果失误的可能。

如此记录背景知识的结构之一,即是采用知识图谱。上图给出了一个简单的知识图谱,它由顶点和边组成,顶点的cat(猫)、bear(熊)、table(桌子),边中的(sits on),即是我们上个例子中涉及到的背景知识。那么通过将计算机视觉中的物体识别技术与知识图谱结合,就可以将机器知识与人类知识结合,最终达到提升识别准确率的目的。

应用前景

本文的实验部分使用了MSCOCO15以及PASCAL07数据集,文中列举了几个例子,包括在办公室场景中由检测到台式电脑进而发现了键盘,在海滩场景中由检测到人进而发现了冲浪板。深度学习技术研究的蓬勃发展,使得计算机史上的许多难题得到了有效的处理,然而,深度学习由于其不可解释的特性而被人们所诟病,甚至有相关研究工作表明,通过人工伪造明显人类明显识别是假的图片,竟然可以让深度学习识别为真的。因此本文提供了一个很好的研究思路,即通过结合人类知识,使得深度学习的结果更符合现实逻辑,以提高最终结果的准确率。

  • 发表于:
  • 原文链接http://kuaibao.qq.com/s/20180307G1QNHT00?refer=cp_1026
  • 腾讯「云+社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。

扫码关注云+社区

领取腾讯云代金券