深度学习论文(十)---Multiple-Human Parsing in the Wild

Towards Real World Human Parsing: Multiple-Human Parsing in the Wild J Li , J Zhao , Y Wei , C Lang , Y Li May 23 2017 https://arxiv.org/abs/1705.07206

这是今年5月份的一篇论文,我觉得有点意思所以就读了一下:

1、导引

之前很多做human parsing的工作都是考虑的一张图里面只有一个人,这种情况的确比较简单,因为现实世界很多时候的照片包含的人物不止一个,所以这篇文章的作者就考虑到这个问题,做了Multiple Human Parsing.

这篇文章的三个贡献点:

A、介绍了多人物分析问题,扩展了人物解析的研究范围,并在各种应用中更好地与真实世界情景相匹配。

B、他们新建了一个较大的Benchmark---Multiple Human Parsing (MHP) Dataset

C、他们提出来一个新的MH-Parser model用于multiple human parsing,结合了全局信息和局部信息,然后其表现超过了以往的那种简单的”detect-and-parse”的方法。

2、相关工作

A、Human parsing

这一部分我就不多说了,介绍了以前human parsing的各种方法。

B、Instance-aware object segmentation

这里提到了一个工作:Multi-task Network Cascades for differentiating instances. 应该是一个做instance segmentation的工作,这个论文我也还没有看过,之后有时间会去看一下。这个工作的分割不是特别细,也就是说它停留在person这个level,没有进一步对body part进行segment,但是之后我还是准备看一下,毕竟是做instance segmentation的。

3、MHP Dataset

这个Dataset包含4980张Img,每一张都至少有两个person在图中。每个前景人物都被标注了用人类专家的18种语义标签。

7个body parts:  “hair”, “face”, “left leg”, “right leg”, “left arm”, “right arm”, and “torso skin”

11个fashion categories: “hat”, “sunglasses”, “upper clothes”, “skirt”, “pants”, “dress”, “belt”, “left shoe”, “right shoe”, “bag”,  and “scarf” .

 MHP数据集中总共有14,969个人物级别的注释。980张用作testing set,3000张用于training set, 1000张作为validation set。

4、Multiple-Human Parsing Methods

①MH-Parser

包含5个部分:

A、Representationlearner

这是主干网络,是一个CNN特征器,它提取的特征由后面几个模块共享,这里使用全卷积网络,以保持 spatial 信息。

B、Global parser

 获取整幅图像的全局信息,就是对整幅图来做个parsing

C、Candidate nominator

包括三个子模块Region Proposal Network(RPN), abounding box classifier andabounding box regression,类似于 Faster RCNN,将每个人检测出来,得到矩形框

D、Local parser

 针对每个含有人的矩形框,进行 semantic labels 语义标记

E、Global-localaggregator

同时将 local parser and the global parser 网络中隐含的信息输入,用于单人矩形框的semantic parsing predictions

②Detect-and-parse baseline

分为两个不同的阶段,detection stage和parsing stage. 在detection stage中,把representation learner和candidate nominator 作为detection model,在parsing stage中,把representation learner和local prediction作为parsing model.

注意这两个阶段的representation learner是相互独立不分享信息的。

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏Spark学习技巧

案例:Spark基于用户的协同过滤算法

一 基于用户协同过滤简介 基于用户的协同过滤算法(user-based collaboratIve filtering) 基于用户的协同过滤算法是通过用户的历...

3546
来自专栏社区的朋友们

《 NEXT 技术快报》:图形篇(上)

每年暑期都是各路顶会扎堆,今年也不例外,SIGGRAPH,CVPR,ICML这三个我们一直关注的领域顶会相继召开,本期“NEXT技术快报”将重点关注这三大顶会的...

4470
来自专栏PPV课数据科学社区

【学习】Python大数据学习路线图

大家好,附图,为python大数据学习的一个提纲,相关的书本,会慢慢补充进来。 碍于版权问题,有些书本,请大家到网上去购买正版。 ? 1、Python学...

3953
来自专栏机器之心

业界 | 谷歌开源TensorFlow Object Detection API物体识别系统

选自Google Open Source 作者:Jonathan Huang 机器之心编译 参与:黄小天、李泽南 近日,谷歌在其开源博客上发表了一篇名为《Sup...

3578
来自专栏崔庆才的专栏

中文分词原理及常用Python中文分词库介绍

2675
来自专栏大数据文摘

新一季《权力的游戏》谁又要挂掉?算法神预测龙妈要去领盒饭了!

1784
来自专栏SeanCheney的专栏

三本关于机器学习和深度学习的书

这几本在Amazon上的排名都非常高,最近特别火的书。 第一本:《用Scikit-Learn和TensorFlow实践机器学习》(Hands-On Machi...

3626
来自专栏人工智能头条

百度Deep Image论文被质疑过度使用ImageNet评价服务器【英】

1505
来自专栏逍遥剑客的游戏开发

GDC2011: Fast and Efficient Facial Rigging

3478
来自专栏IT派

Python数据分析与挖掘学习路线图

语言的学习,真正掌握语言的方式,是交流与实践,所以,这三本书,是由浅入深的步骤。大家在学习过程中,可以到群里面去进行交流沟通。

632

扫码关注云+社区