CVPR2023 | 新方法EgoEgo无需配对视频即可预测3D人体运动

作者：PCIPG-XK  | 来源：3D视觉工坊

在公众号「3D视觉工坊」后台，回复「原论文」可获取论文pdf、代码、视频链接。

添加微信：dddvisiona，备注：姿态估计，拉你入群。文末附行业细分群。

从以自我为中心的视频序列中预测 3D 人体运动在人类行为理解中发挥着至关重要的作用，并且在 VR/AR 中具有多种应用。然而，天真地学习以自我为中心的视频和人体动作之间的映射是具有挑战性的，因为放置在用户头部的前置摄像头通常无法观察到用户的身体。此外，通过配对的自我中心视频和 3D 人体动作收集大规模、高质量的数据集需要精确的动作捕捉设备，这通常将视频中的场景种类限制在类似实验室的环境中。为了消除配对自我中心视频和人体运动的需要，我们提出了一种新方法，通过自我头部姿势估计进行自我身体姿势估计（EgoEgo），它将问题分解为两个阶段，通过头部运动作为中间表示连接。EgoEgo 首先集成 SLAM 和学习方法来估计准确的头部运动。随后，利用估计的头部姿势作为输入，EgoEgo 利用条件扩散产生多个看似合理的全身运动。这种头部和身体姿势的分离消除了使用配对的自我中心视频和 3D 人体运动训练数据集的需要，使我们能够分别利用大规模自我中心视频数据集和