姿态估计openpose算法笔记_heatmaps openpose

近期需要用到关键点检测和姿态估计的相关算法，进行了一下调研，着重记录一下openpose算法的一些要点；
关于openpose算法论文：https://arxiv.org/abs/1812.08008
有一篇写的非常好的博客记录了一些关键点，有兴趣的可以去参考。

以下记录几个点：

1. 算法流程：
   
   网络结构在经过VGG19网络的前10层得到特征图F，作为后续的输入，在stage1中，有两个分支，分支1负责预测关键点位置的热力图heatmap S，分支2负责预测关键点对之间关系的向量图vectormap L，在stage1后，将S与L和F合并作为下一个阶段的输入，下一个阶段与stage1类似，重复这种操作可以使得热力图更精准和肢体向量更明确，一般stage会>5；
   openpose是一个工程的形式存在，cmu团队在不断更新和维护，最新在19年对网络结构进行的更改，使速度更快，参数更少，但思路和做法与上图类似，下图是最新网络结构：
   

   训练时：标记数据解析获得关键点热力图heatmap和关键点对向量场vectormap——每一个阶段预测的S与L都会计算loss，与gt heatmap和gt vectormap计算loss并反向传递更新网络。
   推理时：图片经过完整网络结构，只由最后一层stage输出的S和L有效，其中对于S，关键点热力图会标识每个关键点的坐标，对于在相同位置，关键点会进行NMS，以保证只有一个最大值的关键点会输出（哪怕两个人重叠也只会输出一个左肩部）；对于L，会由推理的paf进行积分来获得肢体的置信度，最后所有的关键点会依据匈牙利算法在肢体置信度的基础上链接成一个个的人。

2. 关于PAFs ，局部（肢体）亲和域，表征的是图片WxH中每一个像素点所对应的亲和度：如果该像素点在肢体上，该像素点的PAF表示为肢体方向的单位向量；
   
   该表示是openpose算法最核心的地方，k表示第k个人，c表示第k个人的第c个肢体；p表示当前像素点。
   
   
   由该式可知，若点p在肢体c上，点p的PAF是两个关键点之间的一个单位向量。
   
   以上是点p的取值范围，其实就是肢体矩阵的一个数学表示。
   在训练时，依据以上公式就可以在stage不断迭代的过程中使得单位向量更多更精确
   在推理时，依据模型预测的关键点坐标和PAFs，对paf进行积分，积分的结果是关键点相连作为肢体的置信度。在使用匈牙利算法进行人体肢体配对时，依据的是此置信度为某一部分肢体的权重；
   
   
   由于全连接的k维图进行配对是一个np-hard问题，将K维配对转化为一个二分图问题进行简化，同时积分运算简化为两个关键点之间的一个均匀采样，于是像素点P如公式11所示；
   最开始我对为何积分能表示为两个关键点链接为一个肢体的置信度存疑？
   后面想到，此积分步骤其实同时兼顾了两个关键点中间部分的像素点位置和方向信息。
   若一个左肩，有两个左手肘关键点同时来与他配对，假设其中一个左手肘距离很远，那么其中必定有部分像素点预测不在肢体矩阵上，此时paf为0，对应积分也为0；
   若一个左肩，有两个左手肘关键点来配对，且两个左手肘相离很近，我们来看积分是如何操作的。如下简图：
   
   当J1与J2同时来配对时，假设位于中间的像素点P,模型预测的paf为实线JJ1单位向量方向，此时JJ2的积分由于方向不一致，
   积分内函数 L(p(u))v=|L(p(u))| |v| cosQ取余弦后其值小于JJ1，此处便兼顾了方向信息，通过直线像素均匀采样兼顾了位置信息，由此积分能够使权重更倾向于距离近且方向一致的配对点。
   因此在两个需要配对的点很近时，如两个手肘挨在一起互相干扰时，优先匹配离得近的手肘，且用模型推理的手肘方向作为参考。

3. 关于输入和输出
   模型输出的是19个位置的关键点，除了coco数据集上标注的18个关键点之外，还有一个背景类，所以是19个
   
   模型输出的是38对vectormap，除了18个关键点，每两个关键点有两个方向的vector一共是36对，之外，考虑到有些场景人体不是正面拍摄，眼睛对应的关键点检测不到，于是额外加了两对2-16，5-17肩部和耳朵以辅助判定姿态。