多模态 | 基于GNN的多模态情感识别技术COGMEN项目实现，代码分析，并训练自己的数据集，后期修改网络，运行全部过程以及经验总结

COGMEN: COntextualized GNN based Multimodal Emotion recognitioN

COGMEN: 基于GNN的多模态情感识别技术

Paper:  https://arxiv.org/abs/2205.02455 

源代码GitHub - Exploration-Lab/COGMEN

论文翻译及总结可参考我另外一篇博文：多模态 |COGMEN: COntextualized GNN based Multimodal Emotion recognitioN论文详解_夏天｜여름이다的博客-CSDN博客

环境设置

• Pytorch
• python3.7版本及以上

如果安装GPU版本，cuda版本需要11.7及以上

• pytorch_geometric

Installation — pytorch_geometric documentation (pytorch-geometric.readthedocs.io)

conmet.ml

•  SBERT

Install SBERT

 对于已经有pytorch的情况，我只安装了以下命令

pip install comet_ml --upgrade #使用默认的 Python，comet_ml升级到最新版本
pip install torch_geometric
pip install -U sentence-transformers

数据预处理（第一次运行）

数据集：iemocap_4

对数据集进行处理，运行

python preprocess.py --dataset="iemocap_4"

运行后，结果如图

开始训练

python train.py --dataset="iemocap_4" --modalities="atv" --from_begin --epochs=55

训练效果如图

训练后，生成model_checkpoints目录，如下