CVPR2017｜实时多人姿态评估 Part Affinity Fields

论文:《Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields》

• Bottom-up方法：先检测出所有关键点，再将关键点回归进对应的人中

1、模型：

1）整体的框架图：

图1.这篇文章先使用VGG19的前十个层获得图片的特征，再将其输入后面的模块进行优化。一个stage中包含两个分支，一个分支用于回归关键点，另一个则回归关键点之间的链接。第一个stage的输入数据为VGG前十层得到的特征，而随后的stage的输入数据为前一个stage的输出和特征。

2）模型细节：

• VGG-19:使用VGG-19前十层对图片提取特征F
• stage1:
• branch1:回归人台关键点位置，S=(S1,S2,...,SJ),人体的J个部位，Sj表示h'*w'个pixel中每个像素属于人体第j个部位的可能性
• branch2:回归关键点之间的链接，L=(L1,L2,...,LC),人体的C个向量场，即人体的C个链接，Lc由一个h'*w'*2的表示位置和方向的map表示。

• stage>=2:

模块输入数据:特征F和上一个stage输出的S,L，如下

2、损失函数：

1）公式细节

其中，Sjt(p)和Lct(p)是stage两个分支的输出，关于人体关键点和链接的预测。Sj(p)和Lc(p)是由已知的数据标签生成的人体关键点位置和链接的groundtruth, W(p)是一个binary mask，当缺失position p的注释信息时，W(p)=0

2）整体的损失函数为：

3）groundtruth的生成：

• 3.1）Confidence Maps for Part Detection Sj(p)

根据已知的第k个人的第j个部位关键点位置Xj,k,仅仅是一个点，以高斯扩散的方式生成一个范围，如下公式

其中，p为位置p,Xj,k为第k个人的第j个部位关键点位置,上式中，p与x的距离越近S的值就越大，像这样

以最大值的方式融合多个人的多个部位，得到最终的groundtruth

• 3.2）Part Affinity Fields for Part Association

• 根据已知的关键点位置计算链接的包含位置和方向信息的groundtruth
• 计算公式如下：若位置点p在第k个人的第c的limb上，则Lck(p)的值为v,若p不在该limb上，则值为0

其中：v为该人j1到j2部位的单位向量，

是v垂直方向上的单位向量，计算公式如下

判断p是否在limb上的依据为，p点到j1,j2关键点的位置的距离在一定阈值内

• 融合多个人的部位进一个图片，如果出现一个点p，同时存在于两个人的同一部位，则取平均值

其中nc(P)是所有k个人在点p处的非零向量数(即在不同人的肢体重叠的像素处的平均值)。

• 最终示意图：

3、如何判断两个关键点间存在链接的可能性E

• 对于任意两个检测到的关键点，dj1,dj2,在两点连成的直线上均匀采样得到p(u）点，若p点在limb c上，则Lc(p)=v，否则为0.则E越大，dj1,dj2两个关键点间存在链接的可能性越大。

• 非最大值抑制过滤边

4、获得不同部位两两的配对

• Results on the MPII MultiPerson Dataset
• maximum weight bipartite graph matching problem
• http://www.csie.ntnu.edu.tw/~u91029/Matching.html

实现优化函数：

Z(m,n,j1,j2)：j1部位第m个候选点和j2部位第n个候选点之间是否存在链接。

Emn：m和n之间存在链接的可能性大小，可看做该边的权重

条件约束表示：保证一个点仅仅对应一条边

• 这样便可以得到图6（d）这样的结果

5、融合共享的关键点得到最终的人体关键点结果

• 将图6-d中相同部位的链接融合便可以得到最终的人体的关键点