静态图像中的行为识别

一、什么是静态图像行为识别

从单一图像中识别发生的动作并进行分类的过程，不考虑动作特征的时间信息。

二、与其相似的任务

1、姿态评估（pose estimation）
2、对象识别（object recognition）
3、图像检索（image retrieval）
4、视频中的帧标记（frame tagging in videos）
5、视频行为识别（video action recognition）
6、场景识别（scene recognition）

三、静态图像行为识别与二中任务的关系

总结：一个任务用来提高另一个任务的性能
基于静态图像的行为识别是某些任务（例如图像检索、视频行为识别等）的初始步骤，某些任务（例如对象识别）是基于静态图像的行为识别的初始步骤。

四、可以利用的特征（仅是一部分，欢迎各位补充）

1、人物交互关系（interaction of humans and objects）
2、场景（scene）
3、姿态（body pose）
4、人体部位（body part）
5、与动作相关的物体（related objects for action）
6、人和物的轮廓（the human body region and object region）

五、应用

1、监视（surveillance）
2、机器人应用（robotic application）
3、人机交互应用（human computer interaction application）
4、动词图像标注（annotation images using verbs）
5、动词检索图像数据库（searching an images database using verbs）
6、基于动作查询的图像在线检索（searching images online based on action queries）
7、帧标记（frame tagging）
8、视频搜索（searching in videos）
9、理解对象功能（understanding the functionality of an object）
10、基于视频的活动识别中的视频帧缩减（video frame reduction in video based activity recognition）

六、挑战

1、时空特征的缺失
2、背景线索缺失
3、某些动作类别间类内方差高、类间方差低
4、背景光照变化
5、人体姿态变化

参考文献

[1]D. Girish, V. Singh and A. Ralescu, “Understanding action recognition in still images,” 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops (CVPRW), 2020, pp. 1523-1529, doi: 10.1109/CVPRW50498.2020.00193.