anchor free+分割

单帧图像上的分割 overview

Image Segmentation Using Deep Learning: A Survey arxiv: 2001.05566

以上基本都是detect and segment的思路。用用主backbone和一些技巧还是挺好的。

YOLACT输出masks, instance coefficients, bounding boxes, 用coeff和masks结合，最后用bounding box来crop. 由于车位角度和用到了bounding box的问题，不太适合当前项目。

TensorMask： instance segmentation. 缺点：速度慢，大概是polarMask的1/6。

ExtremeNet用了keypoint检测的思想，输出八边形轮廓。（需要仔细看一下）

以下是segment in anchor free way。

FCOS object detection

adelaide university, chunhua shen group

• 输出：pixel labels(H*W*C), centerness(H*W*1, pixel weights for nms), regression(H*W*4) ，后处理NMS得到bbox.
• idea: 统一单阶段分割、物体检测框架
• 建模：图像上每个点（不限于中心点，分割思想）都要回归该点到物体bounding box的上下左右距离，方式与unitBox相同

框中的像素都作为正样本，不局限于中心点

要解决的问题：

• 多物体重合: DenseBox, pixel回归不确定性

image.png

• false positive太多

解决方法：

• 多物体重合 利用mask rcnn中fpn多尺度物体分别在多尺度feature map上检测的思想

正负样本选择：正样本选择是center点一定范围内???

发散： 对于多物体重合，yolo使用中心点落在划分出的小方格中进行区分。对于中心点落在同一方格内的，依靠设计的anchor尺度和iou区分。

• false positive太多 加上centerness层， centerness定义：

用BCE loss预测centerness(0,1数值范围），test时将centerness乘在bbox confidence score上后再做NMS.

问题：BCE loss可以预测非binary 01的回归问题，可以是0,1数值的？

框架

image.png

• detection head 权重共享

不同尺度feature map用同样的head是有损伤的，在exp(x)上加入学习系统，适应尺度问题

（是否有实验证明可以完全补偿？？？）

• P6P7只用于提供多尺度，并不做高低层信息融合。（过高层的信息融合有对分割无好处？）

效果

比retinanet AP高两个点。（如果retinanet +IOUnet, 结果？）

Ref:

1. Yu J, Jiang Y, Wang Z, et al. UnitBox: An Advanced Object Detection NetworkC. acm multimedia, 2016: 516-520.

PolarMask instance seg

adelaide university Chunhua Shen Group + sensetime, cvpr 2020

论文解析：https://zhuanlan.zhihu.com/p/109015275

总述

基于FCOS做的，输出instance segmentation contour.

"predicting contour of instance through instance center classification and dense distance regression in a polar coordinate"

之前FCOS输出的是bbox center和 distance regression，虽然也能从pixel classification拿到segmentation，再生成contour，但多了后处理。这篇文章是end-to-end拿到contour点坐标。

速度上：对于800*1280图像，包含后处理，81ms（one V100 GPU）。比mask rcnn, tensor mask快。

改进点

• 使用极坐标系代替笛卡尔坐标系。ESE seg中已出现。极坐标系的角度是有向的，方便描述轮廓。计算polar iou方便。

• Polar centerness，实验证明比FCOS中centerness效果更好，AP+2.6%。可能原因是centerness有乘法项，会增加center的不稳定性。

正样本选择：near center +focal loss in classificatoin.

• Polar IoU loss

好处： 1. 和IoU loss一样，避免smooth L1 loss带来的classification loss和regression loss不平衡需要调参的问题， AP+3%。2. 极坐标系下计算，简化掉平方。可微，适合做parallel计算。（即任意多边形的iou计算)

简化：离散并去掉平方

数据

gt处理流程：见appendix，是从pixel分割标注中生成的。标注可用cv2.findContours找到点，遍历得到极坐标系表达。根据选取的num_rays选取点。

• 多交叉点的ray取max distance点
• subpixel的选近邻角度点
• 无交点的regression distance = 10^-6.

思考

• 效果图上看分割结果偏好近圆实心物体，对马腿、胳膊等分割边缘较差。可能跟生成gt时，每10度取一个点有关。
• 这个框架下使用bbox分支不起作用，说明了什么？