弱监督语义分割--Object Region Mining with Adversarial Erasing

Object Region Mining with Adversarial Erasing: A Simple Classification to Semantic Segmentation Approach CVPR2017

怎么将只有图像标签的训练图像用于语义分割的训练，这里我们提出使用一个分类网络来讲训练图像中的物体进行分割，得到像素标记的训练图像，同时提出一个 online prohibitive segmentation learning 来完善上述步骤。

我们算法的示意图如下所示：

这里写图片描述

这里写图片描述

我们的算法主要包括两个部分： adversarial erasing(AE) 和 online prohibitive segmentation learning (PSL) 先来说说 adversarial erasing(AE) 对于输入图像，我们使用一个分类网络根据语义标签将该类在图像中最有特征的区域找到， first mines the most discriminative region for image category label “dog”，然后将该区域从图像中擦除 erase。然后再重新训练分类网络找出物体（dog）的另一个区域，如此重复几次，将所有擦除去的区域综合起来就是 完整的 foreground segmentation mask。

因为 AE 可能会丢失物体的一些相关区域或引入噪声，为了解决这些问题，我们提出了一个 online prohibitive segmentation learning (PSL) 来和 AE 一起来学习更好的分割模型

3 Classification to Semantic Segmentation 3.1. Object Region Mining with AE

这里写图片描述

使用AE 主要找出图像中对应类别的区域，通过迭代完善物体的区域 AE iteratively performs two operations: learning a classification network for localizing the object discriminative regions and adversarially erasing the discovered regions

这里写图片描述

PSL 示意图：

这里写图片描述

PSL uses the squared loss as the optimization objective for the classification branch, whose produced classification confidences are used by PSL to weight the corresponding category-specific segmentation score maps 使用分类的置信度来调整对应类别的分割分数图

这里写图片描述

这里写图片描述

这里写图片描述

这里写图片描述

这里写图片描述