多模态情感识别_多模态情感分析数据集整理

这里整理一下平时所用的多模态情感数据集以备之用，后面会不断地去添加，也希望能够帮到其他人，欢迎大家补充。

作者：骑着白马的王子

地址：https://www.zhihu.com/people/pi-pi-57-67

01 双模态(一般是文本、图像和语音的两两组合)

1.《Multi-Modal Sarcasm Detection in Twitter with Hierarchical Fusion Model》--【多模态讽刺识别】2019年。

论文中建立的数据集，包含文本和图像两个模态，具体来说是三个模态，文本部分包含两个方面：一个是描述(文本模态)，另一个是图像的属性，即图像包含那些东西，用文字描述(也可以归类为属性模态)。数据集较好之处是给出了原始数据，即有原始的文本，原始的图像和属性描述，可以任意操作成实验表征。

数据集和代码链接是https://github.com/headacheboy/data-of-multimodal-sarcasm-detection

2.《 Making the v in vqa matter: Elevating the role of image understanding in visual question answering》--【多模态问答】2017年。

论文中是VQA数据集，包括原始的图片、问答文本等各种属性。我们简单的可以通过word2vec