动作/行为识别调研_动作识别

1. 简介

动作识别(Action Recognition)，就是从视频片段（可视为2D帧序列）中分辨人的动作类型，常用数据库包括UCF101，HMDB51等。相当于对视频进行分类。常用的方法有Two Stream,SlowFast,TSN,C3D,I3D等等

时序动作定位(Temporal Action Localization)，不仅要知道一个动作在视频中是否发生，还需要知道动作发生在视频的哪段时间（包括开始和结束时间）。特点是需要处理较长的，未分割的视频。且视频通常有较多干扰，目标动作一般只占视频的一小部分。常用数据库包括HUMOS2014/2015, ActivityNet等。相当于对视频进行指定行为的检测。

时空动作检测(Spatial-temporal Action Detection)，类似目标检测，不仅需要定位视频中可能存在行为动作的视频段，还需要将其分类，即：localization+recognition。而定位存在行为动作的视频段是一个更加艰巨的任务。常用的方法有SlowFast,SlowOnly等等。

• 从操作角度，可以看作将视频转换为多个RGB帧，再对多帧组合进行特征提取，最后融合并分类。
• 从实现方法，可以分为传统方法和深度学习方法，目前传统方法最好的是iDT，深度学习有双流框架，3D卷积框架等等方法。
• 从检测角度，一般分为基于骨骼点检测和基于RBG视频检测，也有数据来源深度传感器。

$$Kinetics-400数据集上的动作识别$$

$$AVA数据集上的时空动作检测$$

$$NTU-RGB+D-120数据集上的基于骨骼点检测的动作识别$$

1.1 基本概念

• 图像识别的四类任务：

  • 分类-Classification：解决“是什么？”的问题，即给定一张图片或一段视频判断里面包含什么类别的目标。
  • 定位-Location：解决“在哪里？”的问题，即定位出这个目标的的位置。
  • 检测-Detection：解决“在哪里？是什么？”的问题，即定位出这个目标的位置并且知道目标物是什么。
  • 分割-Segmentation：分为实例的分割（Instance-level）和场景分割（Scene-level），解决“每一个像素属于哪个目标物或场景”的问题。

• 动作识别vs姿态估计：姿态估计是在RGB图像或视频中描绘出人体的形状，包括关键点的检测，如下图所示。使用姿态估计的骨骼点数据也可作为动作识别的输入。
  

• 动作识别vs目标检测(Object Detection)：目标检测是识别图片或者视频中有哪些物体以及物体的位置，也就是进行目标定位加上分类。如果用目标检测算法进行行为识别的弊端是缺乏前后语义相关性，假如摔倒的判断是由一个从"站立-滑倒-倒下"的过程，我们才能判断为摔倒，不能凭借目标检测算法检测到人是倒下的就判断为摔倒。
  

• 光流(optical flow)：

  • 当人的眼睛观察运动物体时，物体的景象在人眼的视网膜上形成一系列连续变化的图像，这一系列连续变化的信息不断“流过”视网膜（即图像平面），好像一种光的“流”，故称之为光流。

  • 光流法是利用图像序列中像素在时间域上的变化以及相邻帧之间的相关性来找到上一帧跟当前帧之间存在的对应关系，从而计算出相邻帧之间物体的运动信息的一种方法。

  • 光流的物理意义

    • 光流是空间运动物体在观察成像平面上的像素运动的瞬时速度。

    • 光流通常被表述为估计世界真实三维运动的二维投影的问题，可以被看作是连续帧之间的位移矢量场，用

      声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/花生_TL007/article/detail/642277