【行为识别综述准备】_skelemotion: a new representation of skeleton join

前面：自己整理下面的东西出来后，觉得有点意思，当时就总结出来了一篇很水的综述论文，发表肯定发表不了，纯属锻炼写作的，博大家一乐。

论文题目：A Survey on 3D Skeleton-Based Action Recognition Using Learning Method
链接：https://arxiv.org/abs/2002.05907链接

首先，以后工作可以考虑一下基于图卷及的行为识别今年很多，且在数据集上性能领先。
如下图所示：

应用场景：

1. 【2019】Skeleton-based Action Recognition of People Handling Objects 【论文】

• recognizing object-related human actions
• 偏向于应用场景
• 通过构建skeletion-graph 利用了图卷积
  

CNN-Based：

1. 【2019】SkeleMotion: A New Representation of Skeleton Joint Sequences Based on Motion Information for 3D Action Recognition【论文】 【代码】

• Skeleton -> Image
• 偏向于方法
• 3D 行为识别
• CNN方法
• NTU RGB+D 120 dataset
• skeleton image representation 重要！！！对骨架序列进行编码，进一步表示，高效表示，skeleton->Image，有点像师兄的思路！

2. 【2019】Three-Stream Convolutional Neural Network With Multi-Task and Ensemble Learning for 3D Action Recognition【论文】

• 数据集：NTU RGBD
• 3D 行为识别
• 思路：三个stage
• 偏向于方法,网络结构上的创新！
• 多任务学习
  
  此外他还有一篇文章是考虑了频域信息进去的，结构差不多
  如下，主要讲当前的方法都是异步学习语义信息等的，而且是在不同的层，这里提出了residual frequency domin的attention block!也是网络结构的上的改进！（多种模态信息的考虑，时-空-频率）
  

3. Skeleton based action recognition using translation-scale invariant image mapping and multi-scale deep cnn 【论文】

• 对骨架信息转换成特殊形式的Image
• 多尺度的CNN
• 数据集： NTU RGB+D, UTD-MHAD, MSRC-12, and G3D
  

4. 【2019】Making the Invisible Visible: Action Recognition Through Walls and Occlusions 【论文】

• 对黑暗中或者遮挡住的人体也能构建成骨架，然后识别动作，骨架信息作为中间信息！
• CNN
• 加入了Attention Module用来获取时空信息
  

5. 【2018】Co-occurrence Feature Learning from Skeleton Data for Action Recognition and Detection with Hierarchical Aggregation
   【论文】

• End- to-end
• CNN
• 数据集：NTU RGB+D, SBU Kinect Interaction and PKU-MMD.
• 首先每个点的信息被单独的进行了编码，其次将其assembled into到同时包含时空 信息的高层语音的representation形式，

6. 【2019ICME】Learning Shape-Motion Representations from Geometric Algebra Spatio-Temporal Model for Skeleton-Based Action Recognition 【论文】

• 也是对骨架信息的编码，更高效的表示，然后送到CNN
• 利用了集合代数Geometric Algebra
• multi-stream CNN model
• 数据集：NTU RGB+D and Northwestern-UCLA datasets

7. 【2017】3D CNNs on Distance Matrices for Human Action Recognition 【论文】

• 3DCNN+DM（欧式距离矩阵）来获取的良好的空间几何结构信息
• 数据集：差不多还是有NTU
• 比之前相近的LSTM-based的方法提升了10个点
• 也可以算是一种对于骨架信息的表示吧
  

8. 【2017】Skeleton-based Action Recognition with Convolutional Neural Networks 【论文】

• CNN+Motion+Trans，还是将骨架序列当做图片去处理
• action classification and detection
• 骨架序列直接送进CNN之后通过骨架transformer模块自动选择中药的骨架点
• 数据集NTU PKUMMD
  
  

9. 【PR2017】Enhanced skeleton visualization for view invariant human action recognition-师兄的论文！ 【论文】

• Synthesized CNN
• 也是对骨架点进行转换！之后CNN

10. 【2017】A New Representation of Skeleton Sequences for 3D Action Recognition 【论文】

• CNN
• 也是一种对骨架序列重新进行加工的形式使其更加具有表现性！
• A skeleton sequence of any length is transformed into three clips each consisting of several gray images. The generated clips are then fed to a deep CNN model to extract CNN features which are used in a MTLN for action recognition.
  

11. 【2018】A Fine-to-Coarse Convolutional Neural Network for 3D Human Action Recognition 【论文】

• 对骨架序列进行分割成小片段，用来学习其中的联系
• 时空信息通过 fine-to-coarse (F2C) CNN architecture 实现
• 数据集：NTU RGB+D and SBU Kinect Interaction dataset.
• 也是对骨架信息动手脚
  

12. 【2017】Interpretable 3D Human Action Analysis with Temporal Convolutional Networks

• CNN
• a way to explicitly learn readily interpretable spatio-temporal representations for 3D human action recognition.

13. 【2017】SkeletonNet: Mining Deep Part Features for 3D Action Recognition 【论文】

• 也是一种表现实行，相比于骨架信息本身，处理后的包含了旋转，评议，和尺度等因素
• 由两部分构成，第一个用于提取特征，另一个用来将特征转化为更加具有区分性且紧凑的表现形式

14. Two-Stream 3D Convolutional Neural Network for Skeleton-Based Action Recognition-涂涂师姐的论文

• 双流3DCNN

15. 【2014CVPR】Human Action Recognition by Representing 3D Skeletons as Points in a Lie Group 【论文】 【代码】

• 也是一种表现形式，对骨架点编码到利群上的点！

16. 【2019】Skeleton Image Representation for 3D Action Recognition based on Tree Structure and Reference Joints 【论文】 【代码】

• a novel skeleton image representation to be used as input to CNNs.
• 数据集：NUTRGBD
• 也是对骨架信息进行处理然后送进CNN

17. [2014] Skeletal Quads: Human Action Recognition Using Joint Quadruples 【论文】

• 对骨架信息进行编码！
• 没准对之后的工作又用！
  

18. Ensemble One-dimensional Convolution Neural Networks for Skeleton-based Action Recognition
    网络结构的改变
19. Hard Sample Mining and Learning for Skeleton-Based Human Action Recognition and Identification 【论文】

• 行为识别+人的识别identification(应用！)

20. 【2019】Make Skeleton-based Action Recognition Model Smaller, Faster and Better 【论文】 代码

• 特点：轻量级，快！

混合方法；

1. 【2019】Semantics-Guided Neural Networks for Efficient Skeleton-Based Human Action Recognition [【论文】] (https://arxiv.org/pdf/1904.01189v1.pdf)

• e NTU, SYSU, and NUCLA datasets.
• GCN+ CNN
• 也是获取多种模态信息，如图
  

2. 【ECCV2018】Skeleton-Based Action Recognition with Spatial Reasoning and Temporal Stack Learning 【论文】 【代码】

• 图卷积+LSTM相关，前者获取高层空间结构信息，后者获取时域动态信息
• propose a novel model with spatial reasoning and temporal stack learning (SR-TSL) for skeleton based action recognition

RNN-based

1.【2018】 Memory Attention Networks for Skeleton-based Action Recognition 【论文】 【代码】

• 特点：In this work, we propose a temporal-then-spatial recalibration scheme to alleviate such complex variations, resulting in an end-to-end Memory Attention Networks (MANs) which consist of a Temporal Attention Recalibration Module (TARM) and a Spatio-Temporal Convolution Module (STCM).
• 数据集：NTU RGB+D, HDM05, SYSU-3D and UT-Kinec