OpenMMLab AI实战营笔记2

1、人体姿态估计：

输入：图像I

输出：所有关键点的像素坐标（x1，y1）,(x2,y2),...(xj,yj)，这里J为关键点的总数，取决于具体的关键点模型。（3D：预测或描绘，CG或动画，人机交互，动物行为分析）

2、2D姿态估计

基于回归：回归坐标有些困难，精度不是最优。

基于热力图：尺寸与原图相同或按比例缩放，通过求极大值等方法得到关键点

从热力图还原关键点：

朴素方法：求热力图最大值位置 （xj,yj）=argmaxHj(x,y)

求数学期望：归一化热力图形成点位于不同位置的概率，再计算位置的期望

多人姿态估计：

自顶向下方法

1、使用目标检测算法检测出每个人体。

2、基于单人图像估计每个人的姿态。

整体精度受限于检测器的精度；速度和计算量会正比于人数；新工作将两个阶段聚合成一个阶段。

自底向上方法

1、使用关键点模型检测出所有人体关键点。

2、基于位置关系或其他辅助信息将关键点组合成不同的人 。

推理速度与人数无关。

单阶段方法：

deepose：通过级联提升精度。

RLE：对关键点的位置进行更准确的概率建模，从而提高位置预测的精度。

hourglass：准确的姿态估计需要结合不同尺寸的信息。

HRnet：下采样保留原分辨率分支保持网络全过程特征图的高分辨率与空间位置信息，并设计了独特的网络结构实现不同分辨率的多尺寸特征融合。

part affinity fields&openpose：基于图像同时预测关节位置和四肢走向。

SPR：唯一标识关节。

PRTR：使用DETR检测出图中不同的人。

tokenpose：将一个分类token和visual token一起做自注意力。

3、3D人体姿态估计

coarse-to-fine prediction：hourglass级联，每级直接预测关键点的3D热力图。

simple  baseline 3D：可以直接用2D坐标预测3D坐标。

videopose3D：基于单帧图像预测2D关键点，再基于多帧2D关键点结果预测3D关键点位置。

4、评估指标

pcp：以肢体的检出率作为评价指标

pdj：以关节点的位置作为评价指标

pck：以关键点的检测精度作为评价指标

oks：以关键点相似度作为评价指标计算mAP