基于多头注意力机制的模型层融合维度情感识别_多头自注意力机制可以实现多源融合吗

基于多头注意力机制的模型层融合维度情感识别

论文介绍

原著：
《基于多头注意力机制的模型层融合维度情感识别方法》
2021 Journal of Signal Processing

研究问题

多模态下情感识别，需要解决多种模态怎么进行融合。常用的有三种方式，特征层融合、决策层融合、模型层融合。

目前研究大部分采用的是前两种融合方式（决策方式用得更多），但这两种方式都存在较大弊端。

特征层：只是对各个模态的情感特征进行简单拼接，并没有考虑到模态之间的信息交互。

决策层：虽然解决了不同模态之间的时序不同步问题，但是没有考虑到不同模态的情感特征信息的关联。

第三种方式解决了不同模态时序不同步的问题，同时考虑了不同模态的情感特征信息之间的关联性。

【多头注意力机制】：具有多个头部，而且每个头部都可以产生不同的注意力分布，解决的是信息中的长时依赖性（位置A与B学习的时间间隔长、但只要他们之间有关系，两者可保持依赖）

【注意力机制】是为了更好的关注有效特征。

本文就是在多模态下，提出多种注意力机制来研究模型层融合下的情感识别。

研究方法

评价指标：CCC（一致性相关系数）

​ (PCC：皮尔逊相关系数)

数据集：AVEC2017 数据集（SEW A 数据集的子集）

【结果】：视频情感特征的性能强于音频情感特征的性能

技术介绍

BLSTM（双向长短时记忆网络）

输出

1. 多模态下的各模态处理（用到了哪些特征模型及各特征模型的适用场景）
   • IS2010 特征集作为短时音频特征、BoAW 特征集作为长时音频特征在长短时记忆网络中学习效果较好
   • BoVW （词袋特征集），适合在长时的情感识别建模中使用，VGGFace（人脸超分辨率序列特征集）适于短时的情感识别模型中
2. 不同注意力机制（长时序的多头）
3. 评价指标（RMSE、PCC、CCC)