交叉注意力机制_三维两种特征如何做交叉注意力融合

基于交叉注意力机制的多特征融合行为识别模型整体结构如图所示。该模型主要包括特征提取模块和交叉注意力模块。

特征提取模块负责提取待检测视频的三维图像特征和人体关键点特征， 交叉注意力模块通过自注意力机制和交叉注意力机制对两种特征进行融合。融合后的特征经归一化指数函数 softmax进行行为分类。

总结：

（1）单一骨架数据模态来识别比如抽烟这个行为可能还不够，所以多个数据模态进行融合可以看看实验效果。

（2）融合了自注意力机制。

（3）可以看一下在煤矿井下这个场景中的鲁棒性怎么样。

参考：

饶天荣, 潘涛, 徐会军. 基于交叉注意力机制的煤矿井下不安全行为识别[J]. 工矿自动化, 2022, 48(10): 48-54. RAO T Y, PAN T, XU H J. Unsafe action recognition in underground coal mine based on cross- attention mechanism[J]. Journal of Mine Automation, 2022, 48(10): 48-54.