[CVPR 2019] Pose2Seg：检测免费的人体实例分割
[CVPR 2019] Pose2Seg：检测免费的人体实例分割
作者 | 全华
来源 | Medium
编辑 | 代码医生团队
在这篇文章中，将从CVPR 2019回顾论文“Pose2Seg：Detection Free Human Instance Segmentation”。本文提出了一种人类实例分割的新方法，该方法基于人体姿势而不是提议区域检测来分离实例。
本文的一些亮点：
- 基于姿势的人体实例分割框架，与基于SOTA检测的方法相比，可以获得更好的准确性并且可以更好地处理遮挡。
- 一个新的基准“Occluded Human（OCHuman）”，专注于带有注释的封闭人类，包括边界框，人体姿势和实例蒙版。
介绍
人体姿势估计和分割是更好地理解人类活动的重要信息。有很多关于这个主题的研究。最流行的深度学习方法之一是Mask R-CNN，它是一个简单而通用的对象实例分割框架。
即使像Mask-RCNN这样的方法也可以检测对象并为图像中的每个实例生成分割掩码。这些方法存在一些问题：
- 这些方法首先执行对象检测，然后使用非最大抑制（NMS）删除冗余区域，并从检测边界框中分割对象。当同一类别的两个对象具有较大重叠时，NSM会将其中一个对象视为冗余提议区域并将其删除。
- “人类”是一个特殊类别，可以根据姿势骨架进行定义。像Mask-RCNN这样的当前方法没有利用姿势信息进行分割。
本文提出的方法Pose2Seg专为人体实例分割而设计，具有以下优点：
- 使用自下而上的方法，该方法基于姿势信息而不是边界框检测。
- 旨在解决遮挡问题，其中每个人类实例被一个或多个其他人严重遮挡。
封闭的人类基准（OCHuman）
本文介绍了封闭人类基准（OCHuman）数据集，以强调遮挡作为研究的一个挑战性问题，并鼓励算法在现实生活中变得更加实用。
Occluded Human Benchmark（OCHuman）数据集包含8110个带有4731个图像的详细注释人类实例。平均而言，超过67％的人类边界框区域被一个或几个其他人遮挡。
以下是OCHuman数据集中的一些图像：
资料来源：OCHuman Dataset
OCHuman数据集
这是一个比较COCO Dataset和OCHuman Dataset的表。
正如您所看到的，COCO包含很少被遮挡的人类案例，并且在有遮挡的面部时无法评估方法的能力。
OCHuman专为与人类相关的所有三项最重要的任务而设计：检测，姿势估计和实例分割。
OCHuman最重要的方面是平均MaxIoU为0.67。这意味着超过67％的人类边界框区域被一个或几个其他人遮挡。这是现实生活中应用中非常常见的问题，例如视频监控或店内人体行为分析。
结构
Pose2Seg的结构如下图所示：
该方法的步骤可描述如下：
- 首先，模型将图像和人体姿势作为输入。人体姿势可以是其他方法的输出，例如OpenPose或数据集的基本事实。
- 整个图像通过基础网络以提取图像的特征。
- 对齐模块Affine-Align用于将感兴趣区域对齐到统一大小。可以想象该模块将从大图像中提取多个固定大小的区域。每个固定大小的区域对应于图像中的每个人。然后，仿射对准区域将执行仿射变换以将每个姿势与姿势模板之一对齐。
- Affine-Align的对齐输出将与Skeleton Features一起生成，并向SegModule提供以生成分割掩码。
- 骨架特征：只是部分亲和力场（PAF），它是每个骨架的2通道矢量场图。这是OpenPose的输出。
- SegModule：是一个CNN网络，以7 x 7 stride-2 conv层开始，后面跟着几个标准剩余单元。然后，使用双线性上采样层来恢复分辨率，并使用1×1转换层来预测掩模结果。
- 最后，使用来自Affine-Align的仿射变换的反向，将每个人的分割掩模组合成一个最终分割掩模。
实验
遮挡性能
- Pose2Seg可以比OCHuman数据集上的Mask R-CNN高出近50％。作者还使用地面实况关键点作为输入进行测试，并且精度提高了一倍以上（GT Kpt）。
- 关于遮挡案例的一些结果：
一般情况下的表现
- Pose2Seg也可以比COCOPersons数据集上的其他方法获得更高的准确性。
执行
该论文的官方PyTorch代码:
https://github.com/liruilong940607/Pose2Seg
参考
http://www.liruilong.cn/projects/pose2seg/index.html
https://arxiv.org/abs/1611.08050
推荐阅读
关于图书
《深度学习之TensorFlow：入门、原理与进阶实战》和《Python带我起飞——入门、进阶、商业实战》两本图书是代码医生团队精心编著的 AI入门与提高的精品图书。配套资源丰富：配套视频、QQ读者群、实例源码、 配套论坛：http://bbs.aianaconda.com 。更多请见：https://www.aianaconda.com