一种用于关键点定位的粗糙-精细化神经网络

每天一分钟，带你读遍机器人顶级会议文章

标题：A Coarse-Fine Network for Keypoint Localization

作者：Shaoli Huang, Mingming Gong, Dacheng Tao

来源：International Conference on Computer Vision (ICCV 2017)

编译：杨雨生

审核：颜青松 陈世浪

欢迎个人转发朋友圈；其他机构或自媒体如需转载，后台留言申请授权

摘要

作者提出了一种粗糙-精细化神经网络（CFN），网络利用多层级监督来实现关键点定位功能。最近，因为CNN具有强大的分层特性，所有基于CNN的方法取得了巨大的成功。这些方法通常使用基于关键点实际位置生成的置信图作为监督对象。然而，虽然一些关键点可以被精确定位，仍有许多关键点由于外观模糊等原因难以进行定位。因此，使用严格的监督通常无法检测难以准确定位的关键点。为了解决这个问题，作者开发了一个由多个粗糙检测器分支组成的关键点定位网络，每一个粗糙检测器分支都构建在CNN中的一个特征层之上，并且在多个特征层之上，构建了一个精细的检测器分支。作者在指定的标签图上监督每一个分支，来表明每一个分支监督的严格程度。将所有的分支结合在一起，产生最终的预测的关键点的位置。作者在多个数据集上进行了多个任务的测试，包括对鸟类躯体进行定位及人体位姿估计试验，证明了所提出的方法的可行性，高效性和普适性。特别地，作者的方法在2016COCO关键点挑战数据集上实现了72.2%的AP，比获奖作品提高了18%。

图1.左图是在严格监督下，精细检测器提取出的高精度关键点，中间是在宽松监督下，粗糙检测器提取出的关键点，右图是将两者结合起来生成的最终结果。

图2. 上图是作者提出的网络的结构，作者描述了3个粗糙的分支和一个精细的分支。

图3. 上图是作者提出的网络，在鸟类躯体检测和人体位姿估计数据集上，进行试验的效果。

Abstract

We propose a coarse-fine network (CFN) that exploits multi-level supervisions for keypoint localization. Recently, convolutional neural networks (CNNs)-based methods have achieved great success due to the powerful hierarchical features in CNNs. These methods typically use confidencemaps generated from ground-truth keypoint locations as supervisory signals. However, while somekeypointscan be easily located with high accuracy, many of them are hard to localize due to appearance ambiguity. Thus, using strict supervision often fails to detectkeypointsthat are difficultto locate accurately. To target this problem, we develop a keypoint localization network composed of several coarse detector branches, each of which is built on top of a feature layer in a CNN, and a fine detector branch built on top of multiple feature layers. We supervise each branch by a specified label map to explicate a certain supervision strictness level. All the branches are unified principally to produce the final accuratekeypointlocations. We demonstrate the efficacy, efficiency, and generality of our method on several benchmarks for multiple tasks including bird part localization and human body pose estimation. Especially, our method achieves 72.2% AP on the 2016 COCO Keypoints Challenge dataset, which is an 18% improvement over the winning entry.

如果你对本文感兴趣，想要下载完整文章进行阅读，可以关注【泡泡机器人SLAM】公众号（paopaorobot_slam）。

欢迎来到泡泡论坛，这里有大牛为你解答关于SLAM的任何疑惑。

有想问的问题，或者想刷帖回答问题，泡泡论坛欢迎你！

泡泡论坛：http://paopaorobot.org/forums/

泡泡机器人SLAM的原创内容均由泡泡机器人的成员花费大量心血制作而成，希望大家珍惜我们的劳动成果，转载请务必注明出自【泡泡机器人SLAM】微信公众号，否则侵权必究！同时，我们也欢迎各位转载到自己的朋友圈，让更多的人能进入到SLAM这个领域中，让我们共同为推进中国的SLAM事业而努力！