专栏首页Visonanchor free+分割
原创

anchor free+分割

单帧图像上的分割 overview

Image Segmentation Using Deep Learning: A Survey arxiv: 2001.05566

以上基本都是detect and segment的思路。用用主backbone和一些技巧还是挺好的。

YOLACT输出masks, instance coefficients, bounding boxes, 用coeff和masks结合,最后用bounding box来crop. 由于车位角度和用到了bounding box的问题,不太适合当前项目。

TensorMask: instance segmentation. 缺点:速度慢,大概是polarMask的1/6。

ExtremeNet用了keypoint检测的思想,输出八边形轮廓。(需要仔细看一下)


以下是segment in anchor free way。

FCOS object detection

adelaide university, chunhua shen group

  • 输出:pixel labels(H*W*C), centerness(H*W*1, pixel weights for nms), regression(H*W*4) ,后处理NMS得到bbox.
  • idea: 统一单阶段分割、物体检测框架
  • 建模:图像上每个点(不限于中心点,分割思想)都要回归该点到物体bounding box的上下左右距离,方式与unitBox相同
框中的像素都作为正样本,不局限于中心点

要解决的问题:

  • 多物体重合: DenseBox, pixel回归不确定性
image.png
  • false positive太多

解决方法:

  • 多物体重合 利用mask rcnn中fpn多尺度物体分别在多尺度feature map上检测的思想

正负样本选择:正样本选择是center点一定范围内???

发散: 对于多物体重合,yolo使用中心点落在划分出的小方格中进行区分。对于中心点落在同一方格内的,依靠设计的anchor尺度和iou区分。

  • false positive太多 加上centerness层, centerness定义:

用BCE loss预测centerness(0,1数值范围),test时将centerness乘在bbox confidence score上后再做NMS.

问题:BCE loss可以预测非binary 01的回归问题,可以是0,1数值的?

框架

image.png
  • detection head 权重共享

不同尺度feature map用同样的head是有损伤的,在exp(x)上加入学习系统,适应尺度问题

(是否有实验证明可以完全补偿???)

  • P6P7只用于提供多尺度,并不做高低层信息融合。(过高层的信息融合有对分割无好处?)

效果

比retinanet AP高两个点。(如果retinanet +IOUnet, 结果?)

Ref:

  1. Yu J, Jiang Y, Wang Z, et al. UnitBox: An Advanced Object Detection NetworkC. acm multimedia, 2016: 516-520.

PolarMask instance seg

adelaide university Chunhua Shen Group + sensetime, cvpr 2020

论文解析:https://zhuanlan.zhihu.com/p/109015275

总述

基于FCOS做的,输出instance segmentation contour.

"predicting contour of instance through instance center classification and dense distance regression in a polar coordinate"

之前FCOS输出的是bbox center和 distance regression,虽然也能从pixel classification拿到segmentation,再生成contour,但多了后处理。这篇文章是end-to-end拿到contour点坐标。

速度上:对于800*1280图像,包含后处理,81ms(one V100 GPU)。比mask rcnn, tensor mask快。

改进点

  • 使用极坐标系代替笛卡尔坐标系。ESE seg中已出现。极坐标系的角度是有向的,方便描述轮廓。计算polar iou方便。
  • Polar centerness,实验证明比FCOS中centerness效果更好,AP+2.6%。可能原因是centerness有乘法项,会增加center的不稳定性。

正样本选择:near center +focal loss in classificatoin.

  • Polar IoU loss

好处: 1. 和IoU loss一样,避免smooth L1 loss带来的classification loss和regression loss不平衡需要调参的问题, AP+3%。2. 极坐标系下计算,简化掉平方。可微,适合做parallel计算。(即任意多边形的iou计算)

简化:离散并去掉平方

数据

gt处理流程:见appendix,是从pixel分割标注中生成的。标注可用cv2.findContours找到点,遍历得到极坐标系表达。根据选取的num_rays选取点。

  • 多交叉点的ray取max distance点
  • subpixel的选近邻角度点
  • 无交点的regression distance = 10^-6.

思考

  • 效果图上看分割结果偏好近圆实心物体,对马腿、胳膊等分割边缘较差。可能跟生成gt时,每10度取一个点有关。
  • 这个框架下使用bbox分支不起作用,说明了什么?

原创声明,本文系作者授权云+社区发表,未经许可,不得转载。

如有侵权,请联系 yunjia_community@tencent.com 删除。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 数据增强之仿射变换

    一般情况下,不同的图像任务和模型有不同的数据增强方法。然而比较通用的有图像的仿射变换,颜色抖动,水平/垂直翻转, 随机crop。

    用户4363240
  • conda create报错RemoveError

    RemoveError: 'setuptools' is a dependency of conda and cannot be removed from

    用户4363240
  • focal loss理解及实现要点

    cross entropy有两种解释。一种是信息论KL散度角度,一种是概率论角度MLE。详见参考文献[1]。

    用户4363240
  • 23种设计模式之单例模式进阶

    前一篇推文里面我们初步介绍了一下23种设计模式,并且讲解了其中的单例模式的两种情况,今天我们再来讲一讲另外几种单例模式的情况,因为我们都知道懒汉式和饿...

    Python进击者
  • 抓包分析以太网帧和IP数据包,头部那么多东东用来干啥的,扫盲篇

    使用了 Wireshark 进行抓包,用两个最常用的 curl 和 ping 命令来演示抓包情况,开启抓包。

    阿甘的码路
  • iptables网络安全服务详细使用

    iptables防火墙概念说明 开源的基于数据包过滤的网络安全策略控制工具。 centos6.9  --- 默认防火墙工具软件iptables centos7 ...

    863987322
  • iptables网络安全服务详细使用

    iptables防火墙概念说明 开源的基于数据包过滤的网络安全策略控制工具。 centos6.9  --- 默认防火墙工具软件iptables centos7 ...

    863987322
  • iptables网络安全服务详细使用

    iptables防火墙概念说明 开源的基于数据包过滤的网络安全策略控制工具。 centos6.9  --- 默认防火墙工具软件iptables centos7 ...

    863987322
  • Confluence 6 代理和 HTTPS 设置连接器

    很多用户选择将 Confluence 运行在反向代理的后面,同时还启用了 HTTPS。将你的的 Confluence 反向代理配置正确就显得非常必要了,并且能够...

    HoneyMoose
  • 什么是mAP ? 比较目标检测模型性能的统计量,了解一下?

    用户1737318

扫码关注云+社区

领取腾讯云代金券