使用pyskl进行stgcn系列行为识别算法的复现_pyskl复现

1.pyskl环境安装

• 系统：linux
• cuda版本：11.0
• 安装方式：跟随官方github的方式

git clone https://github.com/kennymckormick/pyskl.git
cd pyskl
# This command runs well with conda 22.9.0, if you are running an early conda version and got some errors, try to update your conda first
conda env create -f pyskl.yaml
conda activate pyskl
pip install -e .
1
2
3
4
5
6

• 用到的一些命令
  • 更改conda版本：conda install conda=22.9.0
• 遇到的问题：
  • conda环境创建时非常慢，一度怀疑不能正常安装，实际上慢慢等就行
  • 创建环境一半因为网络终止了，看报错判断是在pip装包时出错了，把pyskl.yaml中pip的部分复制出来，激活环境重新运行一遍
  • 刚开始conda创建环境感觉有问题去看其他csdn教程装特定版本，装好还是不行，耽误了不少时间
  • 在环境装好后，分布式训练那块不会报错，最开始报错是因为环境问题，不需要注释掉分布式训练代码
• 当前进度，demo跑通了，训练了一下stgcn的ntu60

2.NTU RGB+D数据集

• CVPR2016
• 行为识别数据集
• 使用微软的Kinect v2拍摄，收集了RGB视频、深度序列、骨骼数据（25个3D位置关节）和红外框架。
• 共有60个动作，三大类，60个日常动作（饮酒、进食、阅读），9个健康相关的动作（打喷嚏、蹒跚、摔倒），11个相互动作（拳打脚踢、拥抱）
• 拍摄方式
  • 一共有40个受试者
  • 共有三个摄像头，相同高度，水平角度是-45度，0度，45度
  • 一个动作重复两次，一次朝左摄像头，一次朝右摄像头
  • 朝左摄像头，得到一个前视图，一个右侧45度视图，一个右视图
  • 朝右摄像头，得到一个前视图，一个左侧45度视图，一个左视图
  • 相机1观察左侧45度视图和右侧45度视图，相机2观察前视图，相机3观察左视图和右视图
  • 相机1就是0度的那个位置，相机2和3，一个左一个右
• XSub和XView
  • XSub是指Cross-Subject Evaluation，将40名受试者分成20名训练组和20名测试组，训练集40320样本，测试集16560样本
  • XView是指Cross-View Evaluation，相机1的所有样本进行测试，相机2和3进行训练。即训练集是前视图和左视图、右视图，测试集是左侧45度视图和右侧45度视图
• 使用这个数据集
  • 在stgcn等算法在列举结果时，会有3d关键点和2d关键点，3d是来自拍摄时的kinect，2d通过kinect拍摄的rgb视频通过HRNet算法生成
  • We provide checkpoints for four modalities: Joint, Bone, Joint Motion, and Bone Motion.这里面提到的4种方式是在AAGCN中提出的，关节，骨骼，关节流，骨骼流，再softmax加权求和融合得到结果。在pyskl中，分别给出了这4中方式的单独结果和两种组合结果及4种组合的预测结果。在训练时也有j.py, b.py, jm.py, bm.py这4中配置文件，那么怎么融合呢。