基于transformer和图卷积网络的人体运动预测时空网络_transformer行人轨迹预测

基于循环神经网络的方法

Fragkiadaki 等。[ 12 ]构建了编码器-递归-解码器和 3 个 LSTM 层，将它们与非线性多层前馈网络相结合来预测视频中人体骨骼的运动趋势，并合成新颖的运动，同时避免长时间漂移。为了对整个身体和单个肢体进行动态建模，Jain 等人。[ 13 ] 提出了 S-RNN 模型，使用由 LSTM 组成的节点和边的结构图进行运动预测，然而，他们忽略了观察和预测姿势之间的不连续性问题。此外，Martinez 等人。[ 14] 通过使用具有剩余结构的简单门控循环单元 (GRU) 解决了不连续性问题，并展示了对特定速度建模的效果。为了合成复杂的运动并生成不受约束的运动序列，Zhou 等人。[ 15 ] 提出了一种自动调节的 RNN 模型，能够生成任意长度的运动序列，并且没有刚度问题。对于预测中的静态接头，Tang 等人。[ 16 ] 提出了一种改进的高速公路单元，通过总结与基于 RNN 的当前预测相关的历史姿势以及框架注意模块来有效消除静态姿势。为了引导模型生成长期运动轨迹，Gopalakrishnan 等人。[ 17] 在具有包含顶层和底层 RNN 的两级处理架构的神经时间模型中使用导数信息作为计算特征。Liu 等人提出的分层运动循环网络。[ 18 ]使用 LSTM 对全局和局部运动上下文进行分层建模，并通过使用李代数来表示骨架框架来捕获关节之间的相关性。电晕等。[ 19 ]提出了一种上下文感知的人体运动预测方法，该方法使用语义图模型来构建场景中物体空间布局的影响，并引入RNN来提高人体运动预测的准确性。为了结合人体轨迹对运动的影响，Adeli 等人。[ 20] 使用 GRU 对轨迹和姿态信息进行编码，以解决端到端结构中预测人体轨迹运动和骨骼姿态的任务。RNN 具有出色的时间建模能力，但大多数使用 RNN 建模的作品都忽略了人体关节之间的空间相关性。

其他方法

李等。[ 3 ] 同时考虑了人体运动的不变和动态信息，并使用多层卷积序列到序列模型来学习空间和时间特征，从而实现更准确的预测。考虑到运动过程中身体各部分的活动程度不同，Guo和Choi [ 21 ]以人体为基础将身体结构分为五个不重叠的部分分别学习局部结构表示，在长期预测。同样，李等人。[ 22 ] 进一步改进了 Guo 和 Choi 的想法 [ 21] 将人体仅分为五部分，构建由多尺度图组成的encoder-decoder结构，提取不同尺度的人体运动特征，进一步提高预测性能。巴苏姆等。[ 23 ] 尝试使用 GAN 来产生预测输出，并将高斯分布向量 z 添加到 GAN 中以增加预测序列的多样性。在 Gui 等人提出的对抗性几何感知编码器-解码器框架中引入了两个全局互补鉴别器。[ 24 ]通过局部和全局鉴别器提高长时间运动预测的准确性。为了改变人体运动预测任务的端到端训练方法，Wang 等人。[ 25] 通过提出强化学习公式和模仿学习算法将生成对抗性模仿学习框架扩展为能够准确预测姿势，从而将其转化为强化学习问题。帕夫洛等人。[ 26 ] 提出了一种基于四元数的姿态表示方法，解决了欧拉角和轴角表示引起的歧义和不连续性，并分别使用 RNN 和 CNN 提出了两个版本。结构训练使得预测位姿更准确，误差更小，但转换到四维空间相对复杂。毛等。[ 4]设计了一个简单的前馈深度神经网络，不同于姿势空间，它通过基于残差结构的离散余弦变换（DCT）在轨迹空间中编码时间信息。每个人体关节的时间变化表示为 DCT 系数的线性组合，使用 GCN 对关节之间的空间依赖性进行建模。在这项工作的基础上，Mao 等人。[ 27 ] 后来提出了一种基于运动注意的模型，通过从历史信息中形成运动估计来学习时空依赖性。估计与最新观察到的运动相结合，然后将组合输入到基于 GCN 的前馈网络中。最近，毛等人。[ 28] 研究了不同层次attention的使用，将attention具体应用于全身、身体部位和单个关节三个不同层次，并引入了融合模块将这种多层次attention机制结合起来，取得了更好的性能。Hermes 等人也通过实验发现了 GCN 的优势。[ 29 ]，他设计了一个带有 GCN 的时空卷积来提取时空特征，使用扩展的因果卷积对时间信息进行建模，其中还包含局部联合连接，以获得轻量级的自回归模型。相比之下，Martínez-González 等人。[ 30] 提出了一种非自回归变换器模型来并行推断姿势序列，具有自我注意和编码器 - 解码器注意，并向编码器添加基于骨架的活动分类以通过动作识别改进运动预测。

CNN 通常通过在时间维度上执行卷积运算来抽象序列之间的依赖关系，但它在较长时间段内学习序列关系时效果不佳。GCN 可以通过生成器和鉴别器的监督学习有效地学习运动序列的时间依赖性，但 GAN 相对难以训练且参数调整复杂。尽管 RNN 更适合处理具有时间依赖性的数据，但它们学习长期相关性的能力仍然较弱，而 transformer [ 31]] 可以通过注意力机制对输入和输出的全局依赖进行建模，可以打破RNN限制并行计算和长距离学习的局限性。此外，大多数方法都是对时间关系进行建模，忽略了关节的空间相关性，而 GCN 可以专门处理非欧几里德类型的数据，并且可以通过定义在时间连接运动上的图来捕获人体关节的时间和空间依赖性树。据了解，transformer 尚未广泛用于人体运动预测，但已被广泛用于人体姿势估计任务[ 32、33 ]。为了使用更紧凑的人体骨骼表示，这项研究受到论文的影响 [ 4, 27 ] 并使用 DCT 系数进行运动变换。

本研究提出了一种基于 Transformer 和 GCN 的 STTG-Net，它综合考虑了人体运动中的时间和空间依赖性，以提高运动预测的准确性。整体网络框架如图1所示。

首先，应用 DCT 将每个关节的时间信息编码到轨迹空间中。其次，计算出的 DCT 系数通过时间位置嵌入 (TPE) 传递，然后是时间变换器，以学习整个时间序列的全局依赖性。然后，基于一堆图卷积块的空间 GCN 模块可以有效地学习局部关节之间的相关性。最后，在测试阶段，增加预测修正模块，进一步纠正预测动作的错误。与之前的模型相比，该模型分别在时间和空间维度上捕捉全局和局部依赖关系，并对人体骨骼关节随时间的运动进行建模，因此预测结果更具竞争力。