专栏首页人工智能前沿讲习图像分割【论文解读】快速图像分割的SuperBPD方法 CVPR-2020

图像分割【论文解读】快速图像分割的SuperBPD方法 CVPR-2020

提出的super-BPD 与 之前方法MCG相比,精度相当或者更优,而却可以达到 25fps,MCG仅 0.07fps。速度更快且有更好的迁移性,可应用于未见的场景。

作者 | Jianqiang Wan, Yang Liu, Donglai Wei, Xiang Bai, Yongchao Xu 单位 | 华中科技大学;哈佛大学

论文:https://arxiv.org/abs/2006.00303

代码:https://github.com/JianqiangWan/Super-BPD

简介

图像分割是一项基本的视觉任务,是许多应用程序的关键步骤。本文提出了一种基于超边界到像素方向的图像快速分割方法和自定义分割算法。将每个像素上的BPD定义为一个从其最近边界指向像素的二维单位向量。在BPD中,来自不同区域的邻近像素彼此之间有相反的距离,同一区域的邻近像素之间有相互指向的方向(即相互指向)。

利用这一特性将图像分割成超像素点,这些超像素点是一种新的具有鲁棒方向一致性的信息性超像素点,可以快速分组分割区域。在BSDS500和Pascal背景下的实验结果证明了该算法在分割图像时的准确性和效率。在实际应用中,在25fps和0.07fps的情况下,提出的Super-BPD实现了与MCG相当或更优的性能。

介绍

BPD不仅提供轮廓位置,而且编码每个像素到对应区域边界的相对位置,从而得到相邻像素之间的关系。这使得我们可以有效地将图像分割成Super-BPD,这样每个像素和它所指向的方向相似的像素都在同一个Super-BPD中。Super-BPD可以看作是经典超像素的一种新形式,为进一步的分割区域分组提供了鲁棒性方向。

Super-BPD的集合形成了一个区域邻接图(RAG),其中的边按相邻Super-BPD的边界的大小方向进行加权。不同区域内邻近像素的BPD近似相反,因此方向相似度较小。这种性质甚至在弱边界处也存在,在弱边界处,已学习的BPD沿该方向平滑地向大致相反的方向发散。这使得Super-BPD具有鲁棒的方向相似度,可以将相似的Super-BPD在同一感知区域内分组,将Super-BPD从不同的感知区域中分离出来。我们利用相邻Super-BPD之间的这种方向相似性将RAG分割成不同的簇,从而实现分段。

本文的主要贡献有:

1本文提出了一种新的超边界到像素导向(Super-BPD),它能够替代经典的超像素导向。超级bpd在相邻的超级bpd之间提供了鲁棒的方向相似度,可以实现高效的图像分割。

2本文提出了一种基于方向相似度的由粗到细的Super-BPD分割算法,在分割精度和分割效率之间取得了很好的平衡。

优点:

提出的Super-BPD属于监督方法。与现有的基于学习的方法不同,Super-BPD不依赖于轮廓线,不需要费时的处理方法,也不需要对轮廓线的变换进行分割。Super-BPD是一个强大的替代经典的超像素。该算法提供了鲁棒的相似度,可以有效地将同一区域内的像素进行分组,并在边界较弱的情况下分离邻近区域。这就在准确性和效率之间取得了很好的平衡。Super-BPD不需要单独的超像素生成和嵌入步骤,更有效地分离边界较弱的邻近区域。

上图为Super-BPD结果。给定一红色的图像Super-BPD分割边界,放大到一幅图像边界较弱的区域(黄色),虽然像素有相似的值,Super-BPD可以通过鲁棒预测的边界到像素方向将像素连接起来,在边界的两边生成条状的段,以便分组。

方法:

Super Boundary-to-Pixel Direction

对于每个像素蓝色P(红色的为ground truth boundary),找到其最近的边界像红色Bp。BPD向量定义为Bp指向p的二维单位向量。对每个像素密集预测BPD,并对其方向进行颜色编码。

超级边缘点分割算法能够在相邻的超级边缘点之间提供鲁棒的方向相似度,从而通过区域划分实现快速的图像分割。

Boundary-to-Pixel Direction (BPD):

定义:对于图像中每个像素领p找到其最近的边界像素Bp。那么,在像素点p, dp处的BPD被定义为一个二维的单位向量,表示为:

BPD提供了每个像素点的轮廓位置和相对于其区域边界的位置的线索。距离变换算法可以有效地从地面真值注释生成BPD。

模型结构:

采用了全卷积网络(FCN)将BPD预测为与输入图像空间大小相同的双通道映射,如下图所示。VGG16作为主干网,舍弃最后的最大池层和后面的所有层。ASPP层扩大接受野,更好地应对大的区域。从VGG16的不同阶段提取特征来聚合多尺度信息,对conv3、conv4、conv5和ASPP层应用1×1卷积,将这些边输出特征连接起来。最后,我们在融合后的特征图上连续应用三个1×1卷积,然后利用双线性插值的上采样来预测BPD。

损失函数:L2范数

从已有的BPD中,提取图像P编码的条形段super-BPD及其根像素R类靠近区域对称轴,首先,每个像素p的父元素被设为自身,p (p) = p,根像素R的集合为空。对于每个像素p,将其下一个像素np定义为dp所指向的邻近像素。

根据上图算法5 - 9行描述的,每个像素的光栅秩序,如果夹下一个像素np和BPD小于给定的阈值θ,就将其组在一起。否则,将p插入到根像素r的集合中,最终的根图像p将图像分割成一个树森林,每个树的根都是r中的一个根像素。将每棵树定义为一个Super-BPD。

Super-BPD用于语义分割

根据相似度方向,大小不等的细分(算法2,第13-16行)。根据初始段的大小建立方向相似阈值。

按方向相似度的递减顺序遍历e = (r1, r2)。合并R 1和R2,如果方向相似性S (e)大于h θ,触发更新的排斥信息——渐变super-BPDs。

实验结果

作者:知乎—Python小宗师

地址:https://www.zhihu.com/people/lu-ying-14-64

本文分享自微信公众号 - 人工智能前沿讲习(AIFrontier)

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2020-06-13

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 成秀珍:高置信智慧城市服务挑战

    本文报告首先介绍了当前国内外智慧城市的发展现状与趋势,之后为我们阐述了高置信系统的特性以及对于智慧城市建设的重要意义。最后她分析了三个核心技术——物联网、区块链...

    马上科普尚尚
  • 陶哲轩对数学学习的一些 建议

    正如我以前说的,我没有取得数学研究和学术成功的“秘笈”(secret formula)或者“万金油”(one-size-fits-all prescriptio...

    马上科普尚尚
  • CCAI 2019 | 李德毅:自动驾驶量产路在何方

    2019年中国人工智能大会(Chinese Congress on Artificial Intelligence 2019,简称“CCAI 2019”)将于在...

    马上科普尚尚
  • 解决8080端口占用问题

    1、以管理员身份运行cmd,在dos下,输入 netstat -ano|findstr 8080

    麦克劳林
  • 深入浅出 ARCore

    其实关注 ARCore也蛮久了,但一直没有腾出时间来写个总结。正好应朋友之约,我们今天就来好好聊一聊 ARCore.

    音视频_李超
  • 刑拘31人、案值超3亿……起底侵权华为商标大案

    手机维修,对现代人来说并不陌生。大街小巷随处可见各种维修店面,互联网上各式各样的O2O维修服务任人挑选……

    腾讯安全
  • Vue.js重点知识

    在 Vue 中调用 computed 和调用 data 一样,都是 this.funName,而不是像访问 methods 中的方法那样使用 this.funN...

    城市中的游牧民族
  • Python中用GDAL实现矢量对栅格的切割

    lzugis
  • 性能测试之吞吐量

    我们每天的生活中都在用水用电,我只会关心自己的水管是否有水,水压是否稳定,如果我们把水龙头拧到最大,还是一滴一滴的流水。那我们就要愤怒了,直接找房东问明情况。我...

    流柯
  • SpringCloud 2.x学习笔记:10、断路器监控(Hystrix Dashboard)(Greenwich版本)

    Hystrix 已经停止开发了,Hystrix 官方推荐替代的开源组件:Resilience4j(感觉学不动啦) 除了 Resilience4j,还有Spri...

    程裕强

扫码关注云+社区

领取腾讯云代金券