Pose-NDF:Modeling Humanb Pose Manifolds with Neural Distance Fields_人体姿态 三维重建 demo

摘要：

一：引言

        真实的人体捕捉对于后续的人体处理十分重要。目前常见的捕捉系统容易收到自遮挡，抖动等影响，产生非真实的人体姿势，此时需要手动修改。

        近年来，学习数据先验来对罕见人体姿势的处理以及变得很流行，此前的人体姿势先验模型主要集中在学习姿势空间中的关节点的分布或VAEs分布，这些方式都对可能的姿势做了一个高斯假设，然后让预测的姿势向高斯假设趋近，但是向高斯平均值靠经的一小步可能导致在姿势空间中的一大步，会有问题。

        为了缓解这种问题，作者提出了Pose-NDF，一个人体姿势先验来对高维度的人体姿势空间中的可信姿势建模，即从人体姿势空间中寻找最可能的姿势。作者将高维姿势空间表示为一个高维流形，可信的姿势位于流形上，因此距离为0，不可信的姿势在流形外面，距离不为0。作者使用了类似于SDF的方法来表达这种流形。

 

        上面的流程图表达了作者的方法。作者将学习姿势模型(即流形)的问题表述为学习n维空间的表面，为了学习这个姿势，有两个关键的挑战。

        1：输入的空间是高维的

        2：输入的空间不是欧几里得的(欧式距离指的是n维空间中的两点距离，不是欧几里得的应该是指两个点之间的距离没法用欧式距离表示)，就像三维的隐式曲面那样。

        事实上，姿势空间是由S(O)3^K给出的，因此一个单一的姿势是由K个S0(3)旋转组表示的，用来描述人体模型中的关节方向。作者为了表达群元素，使用了四元数的表示。作者通过一个分层的隐函数把输入的姿势映射到一个距离。这个函数对输入姿势编码。

        论文中学习到的这种神经场表征可以用来把任何的姿势投影到流行上，以此来从图像中估计三维姿势。

        论文贡献在于

        1：一个新的高维度的神经场表示，代表了可信的人体姿势流形

        2：Pose-NDF作为姿势先验，改善了从图像中拟合人体的技术水平，在运动去噪方面由于其他的方法

        3：文中的方法和目前的sota一样快，甚至更快。

        4：和之前的高斯假设相比，Pose-NDF产生了更多的样本，也就可以产生更多的可能姿势

二：相关工作

三：方法

      1：作为SO(3)代表的四元数

        人体姿势是由人体骨架的各个关节的三维旋转来表示的，通常对人体骨架的表示分为三种：旋转矩阵，轴角式或单位四元数。但是Pose-NDF要求表示法具有特定的属性

        a)目标是对一个连续的姿势空间的流形建模，因此要求表征是连续的，因此不能使用轴角式

        b)该表示法要能计算两个元素之间的距离

        c)这个算法要在姿势空间中进行梯度下降，而旋转矩阵的梯度下降更复杂，不能选旋转矩阵

        所以最终选择了单位四元数，最终的神经网络的输入就是完整的姿势θ (K*4)。

        作者还在这里定义了两个姿势θ1和θ2之间的距离d如下：

        这边的Wi是一个与每个关节在SMPL模型中的位置相关的权重。

      2：分层隐式神经函数

        作者使用了SMPL身体模型的运动学结构，单个关节的连续操作对应于现实中的运动，因此可能会导致关节旋转的不现实的组合，而每一个关节的合理性是取决于父节点的，因此在编码时要把父节点纳入考虑。基于此，作者提出了一个分层网络Fenc，对输入的人体姿势编码，然后再根据联合表示预测距离。

        对于一个给定的姿势θ={θ1-θk}，通过MLP对每一个姿势编码，编码方式如下：

         对于关节点1，通过Fenc编码为V1。对于关节点K和K的父节点的编码Vk-1，通过Fenc编码为VK，最终生成K个L维的姿势编码。

        下面将K个L维的姿势编码串联起来，得到组合编码P，将P输入下一级MLP网络，预测P的无符号距离。

      3：损失函数

      4：投影算法

        对于一个训练好的模型Fudf，可以应用在把一个任意的姿势θ投射到可信的姿势流形上。作者使用了预测的距离Fudf(θ)和梯度信息将查询姿势投影到流行表面S，就像之前的DeepSDF中的距离函数一样。

        在论文中，相当于通过SO(3)的pose找到d最小的θ值作为最终的预测值

         这里的d(θ，S)是距离函数。θ的更新公式如下：

        α为学习率，通过数次迭代后，将θ投影到流形上，这种算法可以找到最小值。

四：实验

      3：来自图像的三维姿势估计

         作者提出，Pose-NDF可以用来作为图像三维姿势估计的先验。