语义分割--Mix-and-Match Tuning for Self-Supervised Semantic Segmentation

Mix-and-Match Tuning for Self-Supervised Semantic Segmentation AAAI Conference on Artificial Intelligence (AAAI) 2018 http://mmlab.ie.cuhk.edu.hk/projects/M&M/ https://github.com/XiaohangZhan/mix-and-match/

这里简要说一下本文的大致思想思路,不太关注细节问题。

基于深度卷积网络的语义分割通常需要大量的标记数据作为训练样本如 ImageNet and MS COCO 用于网络的预训练,在预训练的基础上,再通过少量标记的目标数据(通常几千张)对模型进行微调得到最终的分割网络。为了降低人工标记的工作量,最近提出了一种自监督语义分割方法 self-supervised semantic segmentation,主要实现 pre-train a network without any human-provided labels。 这个方法的关键在于设计一个代理任务 proxy task (如 image colorization),通过这个代理任务,我们可以在未标记的数据上设计一个 discriminative loss,由于代理任务缺乏 critical supervision signals,所以不能针对目标图像分割任务生成 discriminative representation,所以 基于 self-supervision 方法的性能 和 supervised pre-training 相比较,仍有较大差距。为了克服 这个性能上的差距,我们提出在 self-supervision pipeline 里嵌入一个 ‘mix-and-match’ (M&M) tuning stage 来提升网络的性能。

Mix-and-Match Tuning

1)首先通过 self-supervised proxy task 在未标记的数据上对 CNN 网络进行预训练,得到CNN模型参数的初始化。

2)有了这个初始网络,我们在 target task data 对图像采取图像块,去除严重重叠的图像块,根据标记的图像真值提取图像块对应的 unique class labels ,将这些图像块全部混合在一起。 a large number of image patches with various spatial sizes are randomly sampled from a batch of images. Heavily overlapped patches are discarded. These patches are represented by using the features extracted from the CNN pre-trained in the stage of Fig. 2(a), and assigned with unique class labels based on the corresponding label map. The patches across all images are mixed to decouple any intra-image dependency so as to reflect the diverse and rich target distribution.

3)利用上面的初始网络对这些图像块进行相似性分析,这里使用 一个 class-wised connected graph,将每个图像块看作一个节点,属于同一类的图像块之间的权重比较大,不同类的图像块之间的权重比较小,因为我们有每个图像块的 类别标签信息,所以这是有监督学习的。通过这个学习我们可以让网络能够学习到图像块包含的类别信息 Our next goal is to exploit the patches to generate stable gradients for tuning the network. This is possible since patches are of different classes, and such relation can be employed to form a massive number of triplets

4) 在目标数据上利用标记的分割数据进行微调 fine-tune the CNN to the semantic segmentation task

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏智能算法

逻辑回归(LR)算法

一、算法介绍 Logistic regression (逻辑回归)是一种非线性回归模型,特征数据可以是连续的,也可以是分类变量和哑变量,是当前业界比较常用的机...

32413
来自专栏算法channel

机器学习逻辑回归:原理解析及代码实现

? 前到现在为止,我们通过大约1周的时间初步对机器学习是怎么一回事算是有一些基本的理解了,从最基本的线性回归入手,讨论了如何在拿到一堆数据时,先进行数据预处理...

2677
来自专栏专知

【干货】计算机视觉实战系列06——用Python做图像处理

【导读】专知成员Hui上一次为大家介绍主成分分析(PCA)、以及其在图像上的应用,这一次为大家详细讲解SciPy库的使用以及图像高斯模糊实战。 【干货】计算机视...

35014
来自专栏数说工作室

留一交叉验证及SAS代码

在数据量很少,用什么模型?(点击查看)中,我们总结过当数据量很少时如何选择模型和方法,以使得数据能够最大限度的得到利用。 其中有一个方法就是做交叉验证。 我有备...

3346
来自专栏鸿的学习笔记

十张图解释机器学习

3.奥卡姆剃刀:贝叶斯推理表现出奥卡姆剃刀原理了。 这个图给出了为什么复杂的模型会变得不那么可能了。 水平轴表示可能的数据集D的空间。贝叶斯定理奖励模型的比例与...

711
来自专栏WD学习记录

机器学习深度学习 笔试面试题目整理(3)

(2)逻辑回归的基本概念    这个最好从广义线性模型的角度分析,逻辑回归是假设y服从Bernoulli分布。

1341
来自专栏SIGAI学习与实践平台

机器学习与深度学习常见面试题(上)

一年一度的校园招聘已经开始了,为了帮助参加校园招聘、社招的同学更好的准备面试,SIGAI整理出了一些常见的机器学习、深度学习面试题。理解它们,对你通过技术面试非...

1371
来自专栏ATYUN订阅号

一文带你认识深度学习中不同类型的卷积

卷积(convolution)现在可能是深度学习中最重要的概念。靠着卷积和卷积神经网络(CNN),深度学习超越了几乎其它所有的机器学习手段。 ? 这篇文章将简要...

3869
来自专栏机器之心

一起读懂传说中的经典:受限玻尔兹曼机

1416
来自专栏ATYUN订阅号

27个问题测试你对逻辑回归的理解

逻辑回归可能是最常用的解决所有分类问题的算法。这里有27个问题专门测试你对逻辑回归的理解程度。 ? 1)判断对错:逻辑回归是一种有监督的机器学习算法吗? A)是...

4426

扫码关注云+社区