端到端的弱监督语义对齐

每天一分钟，带你读遍机器人顶级会议文章

标题：End-to-end weakly-supervised semantic alignment

作者：Ignacio Rocco, Relja Arandjelović, Josef Sivic

来源：arXiv:1712.06861, Submitted on 19 Dec 2017

播音员：包子

编译： 蔡纪源

欢迎个人转发朋友圈；其他机构或自媒体如需转载，后台留言申请授权

摘要

大家好，今天为大家带来的文章是——端到端的弱监督语义对齐，该文章发表于arXiv2017。

语义对齐，就是在描绘同一类别对象的两幅图像中，建立稠密的语义对应关系。如下图1所示，是同属人骑摩托车的两幅图像之间的语义对齐关系图。由于类内差异很大、视角变化以及背景混乱等，语义对齐是一项十分具有挑战性的任务。

图1 语义对齐示意图，给定输入图像对（顶部），输出图像对的密集语义对应关系以及几何变换（中部），剔除几何不一致的外点（底部）

在本文中，作者做出了以下三大贡献：

首先，作者提出了一种用于语义对齐的卷积神经网络结构，通过输入匹配的图像对，以弱监督的方式进行端对端训练。网络参数由语义相关的目标丰富外观变化学得，无需繁琐的人工标注真值。

其次，这种体系结构的主要组件是一种可微的软内点评分模块，受到RANSAC 内点评分过程的启发。该模块仅根据几何一致性来计算对齐的质量，从而减少了背景混乱对结果造成的影响。

如图2所示，源图像和目标图像（Is; It ）通过一个对齐网络，可以得到几何变换g。然后，通过首先找到与几何变换g一致的内点区域m，来计算软内点数（绿色），然后对离散化匹配空间中该区域内的成对匹配分数s求和。软内点数是可微分的，这就允许整个模型可以使用反向传播进行训练。 蓝色表示函数和粉红色表示张量。

图2 本文方法：端到端弱对齐算法示意图

第三，如图3所示，作者所提出的方法在多个语义对齐标准数据集上获得了最佳性能。从图4可以看出，提出的方法很好的将两幅图像进行了语义对齐，几何变换关系也很好看。

图3 PF-PASCL、TSS、Caltech-101三大数据集上的

结果对比

图4 语义对齐的结果示意图

Abstract

We tackle the task of semantic alignment where the goal is to compute dense semantic correspondence aligning two images depicting objects of the same category. This is a challenging task due to large intra-class variation, changes in viewpoint and background clutter. We present the following three principal contributions. First, we develop a convolutional neural network architecture for semantic alignment that is trainable in an end-to-end manner from weak imagelevel supervision in the form of matching image pairs. The outcome is that parameters are learnt from rich appearance variation present in different but semantically related images without the need for tedious manual annotation of correspondences at training time. Second, the main component of this architecture is a differentiable soft inlier scoring module, inspired by the RANSAC inlier scoring procedure, that computes the quality of the alignment based on only geometrically consistent correspondences thereby reducing the effect of background clutter. Third, we demonstrate that the proposed approach achieves state-of-the-art performance on multiple standard benchmarks for semantic alignment

如果你对本文感兴趣，想要下载完整文章进行阅读，可以关注【泡泡机器人SLAM】公众号。